大部分公司的 AI 账单,第一步就算错了。
不是算得不够细,是算法本身不对。而算法不对,后面所有的省成本动作都会打在空处。
一、错的算法:按单价算账
多数公司是这么算的:查一下每百万词元多少钱,再乘一下用量,得出一个数。
这个算法看起来最直接,但它漏掉了最贵的部分——为了做成一件事,到底反复跑了多少次。
二、对的算法:按任务算账
换个口径就清楚了:
单个任务平均花多少钱 × 一个月跑多少次 = 真实成本
这两个口径的差别在哪?单价算的是「资源多少钱」,任务算的是「结果多少钱」。企业真正该管的是后者——因为你买的是把事办成,不是买词元本身。
三、为什么便宜的模型可能更贵
这是单价算法最大的盲区。
假设一个便宜模型单次成本是贵模型的三分之一,但它要做三次才做对,而贵模型一次就成。那实际成本是:便宜模型 3 次 = 贵模型的 1 倍,再加上三次的人工复核时间。
出错率也是成本,而且往往是账单上看不见的那部分。它体现在人工返工、流程阻塞、交付延期上,不进 AI 的账,进的是公司的账。
四、四个降本动作,行业里已经跑通了
| # | 动作 | 怎么做 |
|---|---|---|
| 1 | 选对档位 | 默认走便宜模型,只有难题才升级到贵的。别让所有请求都走顶配 |
| 2 | 吃满缓存 | 把固定不变的内容(系统提示词、知识库、规则)放在请求最前面,命中缓存后输入成本大幅下降 |
| 3 | 错峰调用 | 已经有平台在实行峰谷定价,把批量任务挪到夜里跑 |
| 4 | 设预算护栏 | 每个任务定一个成本上限,超了就停或报警。防止单个异常任务拖垮整月预算 |
这四招不需要换模型、不需要重写系统,属于纯工程和管理动作。行业内的普遍经验是,做完之后成本下降的幅度相当可观。
五、改成按任务管,先做这三件事
第一,把用量打上任务标签。同一个接口,是给客服机器人用的,还是给合同审核用的?不分清楚,永远算不出单个任务的成本。
第二,记录每个任务的失败与重试次数。这部分是隐藏成本的大头,也是最能看出模型选得对不对的地方。
第三,按任务算单价,而不是按百万词元算单价。算出来之后再去比模型,结论经常和只看价格表时相反。
你们公司的 AI 账单,现在是按单价管,还是按任务管?欢迎交流你的算法。
下一篇讲:词元产业链上,钱到底被谁赚走了。
下一篇讲:词元产业链上,钱到底被谁赚走了。