# 问：腾讯大模型的进展？



By [Arbitrum 治理](https://paragraph.com/@arbitrum-6) · 2023-04-03

---

答：有听到是混元这个模型继续迭代，有大概100人左右做GPT复现以及自我模型迭代。应该会比我们的早，猜测**大概8月份会出。但应该只是支持文生文的场景**。

  

**问：目前降低算力成本的方式？**

答：除了大模型，即使stable diffusion这种文生图模型，也消耗较小。stable diffusion模型一直在优化，**以前一个推理任务一张A100、现在降级到一个推理任务一张V100**。对于阿里这种巨头而言，V100的存货还是很多的。

同时，还会有一些针对模型的优化，或者加速软件，加快模型训练与推理。

最后，也可以对模型进行降级，降低精准度要求，比如从FP16降级为FP8,。

  

**问：阿里目前对于AI大模型是不计成本的大力投入，还是考虑商业落地稳扎稳打？**

答：**大概率是稳扎稳打**，现在拆分后，都要自负盈亏，压力蛮大的。

ChatGPT的一个推理的任务，大概所需要消耗的这个能力是5张A100在2秒钟之内做一次推理，大规模应用起来成本很高，冲击也很大。

  

**问：华为盘古与昇腾如何看？**

答：**盘古大模型效果有待考证，并没有明确对标GPT，而是往B端去做**。

同时因为受限制，只能用自己的昇腾，虽然昇腾910大概也有A100的70%水平（比寒武纪好），但算力的限制可能会制约大模型发展。

  

**问：从CUDA兼容性角度，海光与寒武纪如何对比？**

答：海光的CUDA兼容性更好，除了海光，其实阿里云产的 PPU 其实也在一定程度上能够做到CUDA兼容，与NV做绑定。

  

**问：360的大模型如何看?**

答：我们了解到，最近360向NV下了上千块A800的货。360语料可能比我们强，但最后能做出什么效果，需要时间验证。

  

**问：目前跑在大模型上面的光模块架构会向英伟达推荐的方向去迭代吗？**

答：我们不太会去走英伟达的架构，我们有自己的路线，其他大厂可能会走英伟达路线。

阿里云的公有云的层级上面，目前都是采用了阿里云自研的产品叫做DPU。我们自研的DPU其实现在已经迭代了几乎3.0或4.0的状态，支持双口100GB的水平。

那DPU的功能是用于在云上开发弹性裸金属，因为我们要把服务器做成云上的云服务器中间是有一层虚拟化的开发，那虚拟化之后这个物理机上的资源其实是有一定的损耗，CPU的核心数、内存的容量以及网络的带宽、硬盘的这个存储容量都会有所影响。那之所以搞DPU，是为了把这些虚拟化的资源都ofload到DPU上去，使得我们云上的这种云服务器的资源和线下的这种物理机的资源是整体的资源数量是一模一样的，是没有任何变化的。

那DPU的主要功能是在这里，那我们现在研发的第四代的这个DPU，它里面主要集成了ERDMA的这个能力，这个RDMA就是远程内存直接访问的意思，然后其实是主要应用在HPC的这个场景，然后这个E代表的是elastic，我们叫做\*\*弹性RDMA这个东西，那它其实是在以太网的架构下去跑ERDMA。也就是说我们希望在以太网的这个网卡、渲染交换机以及这种集群架构上去跑，类似于高性能计算的这种协议，能够把一些高性能计算的场景支持起来。\*\*所以我们大概率在公有云的这个场景，不太会去考量像Nvidia提供的这种集群架构，这是公有云的这个方式，**从云上讲不支持，光模块数量没有明显增长，阿里网络架构不会改，光模块的规格也不太会改。**

但百度云字节火山云可能会采纳英伟达的架构，取决于数量，目前只采纳300台H800，对应每台服务器9张网卡，每个卡一个线，一个线两个光模块，9张网卡一台服务器是18个光模块，300台是5400个光模块，如果集成架构往上扩，扩1000个节点的话，大概是3倍的增长。

  

**问：看好BAT、字节等哪一个大模型？**

答：第一还是百度文心，先发优势，其次可能是字节，因为有数据、有算力、有场景。

---

*Originally published on [Arbitrum 治理](https://paragraph.com/@arbitrum-6/0pH0OCcEFlKqnh3VpPYK)*