YC科技资讯网

面壁智能今天联合清华和OpenBMB,开源了个东西叫BitCPM-CANN。8B

面壁智能今天联合清华和OpenBMB,开源了个东西叫BitCPM-CANN。

8B的大模型,能直接跑手机上。不是云端推理,是本地跑。

他们把模型精度压到了1.58-bit,比传统BF16省了6倍显存,能力保留率90%到97%。翻译一下就是,大货车发动机塞进五菱宏光,不仅装进去了,油耗剩六分之一,动力基本没掉。

但最让我兴奋的不是技术。

是从头到尾,全部在华为昇腾上跑的。量化算子、训练算法、融合算子、全链路框架,没碰一块NVIDIA的卡。0.5B到8B四个尺寸全开源,跟MiniCPM4全精度对照评测,性能优异。

他们还把底层训练底座都搭好了直接开源,以后谁想在昇腾上做低比特训练,直接复用,不用重复造轮子。

这才是最狠的。不是发个模型秀肌肉,是把路修好了让所有人都来跑。