快科技5月24日讯息，AI算力当今的瓶颈依然从GPU转向了存储芯片，国内尤其短少高性能HBM内存等芯片，是以也发展出了多样优化技艺，清华大学日前的权略就在华为昇腾上完了了6倍用量的镌汰。
AG百家乐APP中国官方下载面壁智能、清华大学与 OpenBMB 社区日前连合发布了BitCPM-CANN，这是首个原生基于华为昇腾NPU构建的端到端1.58比特（三元）大说话模子历练系统。
顾名想义，这套系统引入了一套三元量化的技艺，模子权重被压缩为-1、0、1三种情景，使得显存占用量镌汰了6倍，还顺带着镌汰了功耗，因为运算中高耗能的浮点乘法盘算简化成了加减法运算。
频繁镌汰算子也会导致大模子的精度镌汰，不外这套三元量化的实质发扬照旧很强的，团队公布了从0.5B、1B、3B再到8B参数目的大模子与全精度MiniCPM4的对比，1B、3B和8B 三元版分内别保留了各自对应尺寸全精度原版模子97.1% 、97.2%和95.7%的平均性能。
0.5B小尺寸的性能损不天然是最大的，但也达到了90.1%的比率。
速率上的赔本也在可接收领域内，在昇腾910B芯片平台上，全尺寸精度的蒙胧量是155TFLOP/S，滚球app官方下载三元量化版也有148TFLOP/S，赔本唯有4.5%。
更蹙迫的是，这套系和洽驱动等于基于昇腾平台原生拓荒的，作念到了端到端运行，并且开源、可透顶复现——从权略到部署，用户不错宽心使用率性尺寸的模子。
至于这些技艺的兴味，不仅仅普及了国产AI平台的才能，更蹙迫的是镌汰了对HBM等高价存储芯片的依赖，当初谷歌的阿谁TurboQuant技艺亦然差未几镌汰6倍内存用量，一度激励了三星、SK海力士、好意思光等公司股价暴跌。
如今内存市集不仅价钱涨得离谱，并且厂商险些皆不会加多产能，任由缺货加价膨胀，转变这个场面是不行能指望三星等公司我方了，还得靠国内的公司普及内存闪存芯片产能，同期加大技艺优化，让内存闪存的用量不那么虚高才行。
【本文限度】如需转载请务必注明出处：快科技
拖累剪辑：宪瑞世界杯官方滚球app下载安卓/苹果/手机版
著述内容举报 ]article_adlist--> 声明：新浪网独家稿件，未经授权辞让转载。 -->