通义千问，杀疯了！

通义千问自2023年4月问世以来，前阵子阿里云正式发布通义千问2.5。相比上一版本，2.5版模型的理解能力、逻辑推理、指令遵循、代码能力分别提升9%、16%、19%、10%，中文能力更是持续领先业界。同时，通义千问1100亿参数开源模型在多个基准测评收获最佳成绩，超越Llama-3-70B，成为开源领域最强大模型。

而且在权威大模型评测基准平台 OpenCompass 上，通义千问 2.5 的得分追平了 GPT-4 Turbo。这是国产大模型首次在该基准上取得如此出色的成绩，让我们看到了通义千问能力持续进化的巨大潜力。

胖虎也自己测试了一些逻辑方面的问题，很明显，这次升级之后，逻辑处理上更加完善了。

接下来咱们就问几个弱智吧的经典问题，看看通义千问答得咋样。

问题1：晾干1件衣服需要5小时，那么晾30件衣服需要多久

问题2：鲁迅为什么不喜欢周树人

而同样的问题，试着去问ChatGPT，给出的答案就显得有点人工智障

作为开发人员，平时无论改bug，或者写代码，不夸张的说，完全可以取代搜索引擎，因为直接就可以给出我们答案，完全不需要再取从一个个网页中去筛选。

对于开发者，如何更高效的使用AI大模型呢？在5月21号，阿里云在武汉AI智领者峰会上宣布，旗下9款通义商业化及开源系列模型大幅降价。其中，通义千问的主力模型Qwen-Long，甚至直接降了97%。从0.02元/千tokens降至0.0005元/千tokens。不得不说，AI大模型的价格实在越来越卷了，也就是说1块钱可以买到200万tokens，约等于5本新华字典的文字量。

可能有些小伙伴还不太了解Qwen-Long，它是通义千问的长文本增强模型，最多支持1千万tokens的长文本输入。虽说性能对标的是ChatGPT4，但是降价后的价格只为GPT4的 400分之一。

这么大幅度的降价，似乎也超过了一般商业竞争的逻辑。阿里云刘伟光表示“作为中国第一大云计算公司，阿里云这次大幅降低大模型推理价格，就是希望加速AI应用的爆发。我们预计未来大模型API的调用量会有成千上万倍的增长。” 在4月末的时候，中国工程院院士孙宁辉在人大常委会专题讲座中曾指出阻碍AI在国内发展的其中一个原因就是成本居高不下。这样看来，此次降价确实是个利好的消息，对各行业都有一定的促进作用。

那对于我们程序员来说有什么用呢，假设我现在需要私有化部署开源模型，需要考虑的在成本有，硬件、网络、电费以及硬件的折损费用。

我粗略的算了一笔账。比如自建一个个人开发的服务器。硬件选型如下

GPU: 1 * A10（24GB显存）

CPU: Intel Xeon

RAM: 64GB

SSD: 2T PCIE 4.0

主板 + 网卡

粗略算了一下成本，GPU 2万，其余硬件也差不多要1万。这就3万块钱了。另外日常开销，保守点算，国民用电0.5元/度，服务器闲置时的功耗60W，满载功耗300W。假设一天满载4小时，闲置16小时，用电量大概72度，也就是36元。网络费用每个月还需要200元。

如果出现计算资源闲置或者超载还需要支付额外的费用。硬件成本平摊到每个月，保守点费用都要在五六百了。

而现在通义千问大降价，我就在想，完全可以通过云上调用大模型API的方式。这样不需要购买硬件，而且可以随去随用，按需使用。使用起来也方便了不少，最主要的还节省了成本。

另外胖虎还粗略的算了一笔账

假设调用API，一般用户每天消耗540 W 的input tokens和54W的 out tokens（根据微软splitwise paper中提供的数据，input tokens和output tokens的数量比估计为10:1）

那每个月的费用在，540W*30/100W + 54W / * 30/50W = 194.4元，相比于自建服务器 确实节省了不少成本。

这样只是算个人场景的，如果是公司或者大模型创业公司来说，他们的硬件成本只会更高，这样算下来，节省的费用只会更高！

从实际测试来看，即便是同样的开源模型，在公共云上的调用价格也远远低于私有化部署。以使用Qwen-72B开源模型、每月1亿tokens用量为例，在阿里云百炼上直接调用API每月仅需600元，私有化部署的成本平均每月超1万元。

AI大模型，作为程序员可能听的比较多。但是实际应用场景要远比想象的复杂。性能足够，但是效果未必好。而效果要想好又需要更高的成本。这样看来，模型的效果、性能、成本这三个要素很难达到理想的效果。而阿里云的通义千问在这方面属于领军地位。

通义大模型通过阿里云服务企业超过9万，通过钉钉服务企业超过 220 万，已经在PC、手机、汽车、航空、天文、矿业、教育、医疗、餐饮等多个领域落地应用。最近一项成就是5月9日，小米的人工智能助手小艾同学已与通义千问达成合作，并且在小米汽车、手机等设备得到应用，其他像微博、众安保险、完美世界等企业也同样先后宣布接入通义大模型。

整体来看，降低成本是推动大模型快进到“价值创造阶段”的关键要素，更低的成本价格才能真正满足企业的复杂业务场景需求，充分验证大模型的应用价值。