一个 AI 任务,到底会烧掉多少词元?
答案是:取决于你是怎么让它做的。同一件事,你一句一句对话着完成,和交给 Agent 自动完成,用量可以差出十倍到一百倍。
而多数人第一次接触 Agent 时,都被账单吓到过。这篇把原因拆开。
一、为什么差这么多:三个放大器
这个差距不是浪费造成的,是机制决定的。有三个放大器叠在一起。
放大器一:工具调用
每调一次工具,前面的全部内容都要重发一遍。
查五个网页,等于把上下文重发五遍。你在界面上看到的是「它查了五个来源」,后台发生的是五次完整上下文的输入。
每调一次工具,前面的全部内容都要重发一遍。
查五个网页,等于把上下文重发五遍。你在界面上看到的是「它查了五个来源」,后台发生的是五次完整上下文的输入。
放大器二:多轮循环
任务不是一轮就结束,是十几轮甚至几十轮。
每一轮都要把前面所有轮次的内容带上,消耗是累积的,不是平均分摊的。
任务不是一轮就结束,是十几轮甚至几十轮。
每一轮都要把前面所有轮次的内容带上,消耗是累积的,不是平均分摊的。
放大器三:长上下文
上下文这块的开销不是线性增长,越到后面越贵。
所以一个跑得久的任务,最后几轮的成本可能比前几轮贵出一个量级。
上下文这块的开销不是线性增长,越到后面越贵。
所以一个跑得久的任务,最后几轮的成本可能比前几轮贵出一个量级。
三个叠在一起,就是账单失控的原因。这也解释了为什么「聊天型」AI 用起来很便宜——它只用了其中一个:上下文累积。而 Agent 三个全用上了。
二、这解释了另一个现象
很多人有个困惑:明明模型价格一降再降,为什么公司的 AI 账单反而在涨?
答案就在这里。单价降了,但单次任务消耗的词元量涨了——因为大家从「聊天」升级到「干活」了。单价的变化是乘法的一个因子,用量的变化是另一个因子,而且后者的涨幅往往更大。
只看单价降了,就等于只看了这个乘法的一半。
三、两个动作,把账拉回来
不需要砍掉 Agent 这个用法——它带来的效率提升远大于成本增加。要做的是治理,不是放弃。
第一个动作:做上下文工程。固定不变的内容前置走缓存;冗长的中间结果做摘要,不要原样带着走;无用的历史轮次及时截断。核心思路是——别让每一轮都背着全部历史跑。
第二个动作:设预算护栏。每个任务定一个成本上限,超了就中断或报警。这一步的意义是防止单个异常任务拖垮整月预算——Agent 出问题时往往不会自己停,它会一直循环下去。
四、一个判断
Agent 的普及会让企业 AI 成本的管理方式发生一次转向:从「管单价」转向「管任务」。
因为单价对 Agent 场景几乎没有指导意义——你没法用「每百万词元多少钱」去预估一个会自己决定跑几轮的任务。能管住的只有两件事:每轮带多少上下文,以及最多允许跑多久。
你现在有用 Agent 跑任务吗?欢迎交流主要用在什么场景。
下一篇是这个系列的收官:讲明年会怎么变。
下一篇是这个系列的收官:讲明年会怎么变。