ai大模型在2023年成为关键词，也是各大科技公司竞争的热门领域。然而，这种象征未来的ai大模型成本过高，甚至让像微软这样财大气粗的公司开始考虑备选方案。最近有爆料显示，在由peter lee领导的微软内部的1500人研究团队中，有一部分人转向研发全新的llm，它的体积更小，运营成本也更低
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
关于微软的小尺寸AI模型，在3个月前已经开始显露端倪。今年6月，微软发布了一篇题为《Textbooks Are All You Need》的论文，使用仅有70亿token的“教科书级别”数据训练了一个13亿参数的模型phi-1，证明即使是小规模的高质量数据也能使模型具备良好的性能。此外，微软研究院还在phi-1的基础上发布了一个名为phi-1.5的全新预训练语言模型，适用于QA问答、聊天格式和代码等场景
根据微软方面的说法，在测试常识、语言理解和逻辑推理的基准下，phi-1.5的表现超出了相当一部分大模型。phi-1.5在带LM-Eval Harness的GPT4AL跑分套件中，可以媲美Meta旗下拥有70亿参数的开源大模型llama-2，在AGIEval得分上甚至超过了llama-2。
为什么微软要突然开发小尺寸的AI模型呢？外界普遍认为，这可能与OpenAI之间的问题有关。微软是OpenAI的主要投资方，因此可以永久使用OpenAI现有的知识产权，但并不能控制OpenAI的决策。因此，对于像微软这样的巨头来说，开发高质量的小尺寸AI模型是必不可少的，无论是出于自身战略安全的考虑，还是为了在与OpenAI的合作中保持有利的地位
当然，AI大模型目前的能源消耗是一个关键因素。在今年年初的设计自动化大会上，AMD首席技术官Mark Papermaster展示了一张幻灯片，比较了机器学习系统的能源消耗和全球发电情况。根据国际能源署的估计，训练大型模型的数据中心的能源消耗越来越大，占全球电力消耗的1.5%至2%，相当于整个英国的用电量。预计到2030年，这个比例将上升到4%
根据Digital Information World发布的相关报告显示，数据中心为训练AI模型产生的能耗将为常规云服务的三倍，到2028年数据中心功耗将接近4250兆瓦、比2023年增加212倍。而OpenAI训练GPT-3的耗电量为1.287吉瓦时，大约相当于120个美国家庭1年的用电量。但这还仅仅只是训练AI模型的前期电耗，仅占模型实际使用时所消耗电力的40%。
根据谷歌发布的2023年环境报告显示，训练AI大模型不仅会消耗大量能源，还会耗费大量水资源。据报告显示，谷歌在2022年消耗了56亿加仑（约212亿升）的水，相当于37个高尔夫球场的用水量。其中52亿加仑用于谷歌的数据中心，比2021年增加了20%
AI大模型的高能耗是很正常的。用ARM高级技术总监Ian Bratt的话来说，就是“AI计算需求是无法满足的。网络规模越大，结果越好，可以解决的问题也越多，电力使用与网络规模成正比。”
有人工智能从业者表示，在疫情之前，训练一个Transformer模型所需的能量消耗在27千瓦时的范围内。然而，现在Transformer模型的参数数量已经从5000万增加到了2亿，能量消耗也已经超过了50万千瓦时。也就是说，参数数量增加了四倍，但能量消耗却增加了超过18000倍。从某种意义上来说，人工智能大型模型所带来的各种创新功能，实际上都是以高昂的处理性能和能量消耗为代价
更多的电力驱动更多的GPU进行AI训练，又要大量消耗水资源来冷却GPU，这就是问题所在。以至于微软被曝光正在制定一个路线图，希望用小型核反应堆产生的电能来运营数据中心。更何况即便不提ESG（“环境、社会及管治”），单纯从成本层面出发，研究小尺寸模型也是有价值的。
众所周知，搭建了CUDA生态的英伟达是这一轮AI热潮中的最大受益者，更是已经占据了AI芯片市场的70%，如今H100、A100等计算卡更可谓是一卡难求。可现在的情况，是向英伟达购买算力已经成为了一个推高AI厂商成本的重要因素。所以小尺寸模型也就意味着需要的算力资源更少，只需购买更少的GPU就能解决问题。
尽管功能更强大的大型模型确实很出色，但目前大型模型的商业化仍处于初级阶段，唯一赚得盆满钵满的是英伟达公司这个“卖铲子”的角色。因此，在这种情况下，微软自然也有意改变现状
