基于sama blog的AI与能源问题思考

xiaoqianWX

昨天，Sam Altman发了个新blog，说了一堆东西，别的我们暂时先不谈，我主要先看到了这一块


说实话，我第一眼看到这个数字我以为是直接从Epoch AI之前的分析取的，在2月的时候他们分析出了0.3这样一个数字，但是方法上专业性存疑

但是仔细一想，在现有的信息下，其实可以搞点数字进去算一下看看是什么水平？

现有的推测指向GPT-4o/o1/o3/4.1是一个active为30-50b的MoE，总param数似乎并没有很好的说法，不过从通常做法上来讲会认为active:total比例小于deepseek v3

之前deepseek公布了他们的推理架构大概可以做到prefilling(prompt processing)75ktok/s, decoding(token producing)15ktok/s per H100/800 node

假设一个平均的请求输入长度1000token输出长度500token，每个H100，加上其他硬件和散热，总功耗为1400W（比较保守的估计了，实际能做到低一些），那么拿这些数字算出来大概是0.14Wh/req

这个数字大概只有Sam Altman给的0.34Wh的40%，差距相对来讲很大，这有两种可能：
1. OpenAI的推理架构效率不理想
但是如果仔细想一下，OpenAI的用户比谁都多，任何一点小的提升都能让OpenAI节省巨大的开支，OpenAI除非真的跟钱过不去那要不然这是不太可能的
那另外一种可能性是：
2. 4o的active param count更高，OpenAI的模型效率上优化的并不好

如果从另外一个角度看第二种可能，从今年1月开始上线chatgpt的新版4o和现在的4.1提升巨大，很显然这有蒸馏4.5和o3的功劳，但是模型本身足够大才有足够的提升空间

另外一点是，Sam Altman曾经吹过The cost of intelligence will converge to the cost of energy

基于他给的0.34Wh这个数字，我们假设65%是decoding的能耗(~0.22Wh)，因此得来0.44kWh/Mtok输出，假设能源成本是0.1usd/kWh（略微高估），那么能源成本就是0.044usd/Mtok

现在o3/4.1的输出价格为8usd/Mtok，也就是说cost of intelligence是cost of energy的~182倍

这个数字好像...差的有点远

那么...cost of intelligence和cost of energy的比例是有所上升还是下降呢？

我们用现在数据比较名曲的GPT-4去比较，已知GPT-4是一个1.76T的MoE，Active ~400b，假设decoding速度为1ktok/s/H100 node（可能略有高估？），GPT-4 API的价格为30/60，算下来能耗大概是3.11kWh/Mtok out，也就是0.311usd/Mtok out的能源成本

60/0.311=~193

因此，这个数字很大程度上对于SOTA闭源模型没有明显的改变

注：本文中很多数字都是推测瞎猜得来，不要太多想

Meow

正好最近o3大降价