12月7日,燧原科技发布第二代云端人工智能推理加速卡"云燧i20”,该产品搭载全新的"邃思 2.5”AI 推理芯片,专门针对数据中心打造,可广泛应用于计算机视觉、语音识别与合成、自然语言处理、搜索与推荐等推理场景。
据介绍,新一代"邃思”AI推理芯片采用第二代高性能计算核心和数据引擎,核心尺寸 Die 核心尺寸为 55mm×55mm,采用格芯 12nm FinFET 工艺打造,采用了第二代 GCU-CARA 架构 。通过架构升级,大大提高了单位面积的晶体管效率,从而实现了与目前业内7纳米GPU相匹敌的计算能力。不仅如此,基于12nm成熟工艺带来的成本优势,使得云燧i20在相同性能表现下更具性价比优势。并且供应链体系更加稳定成熟,客户的业务需求可以得到及时满足。
从训练到推理,标志着云端AI推理加速产品已升级进入第二代。这款芯片应用了 2.5D 封装技术,配备两颗 HBM2e 显存,容量 16GB。作为全新一代云端AI推理加速产品,云燧i20AI加速卡存储带宽达819GB/s,远超行业同类产品水平;同时全面支持从FP32、TF32、FP16、BF16到INT8的计算精度。单精度FP32峰值算力达到32 TFLOPS,单精度张量TF32峰值算力达到128 TFLOPS,整型INT8峰值算力达到256 TOPS。对比第一代推理产品,云燧i20将浮点算力提升到1.8倍,整型算力提升到3.6倍。
此次升级并非算力的简单优化,升级后的"驭算TopsRider”软件栈,在性能、开发效率和模型覆盖面上得到大幅提升。通过引入通用高层图优化和大规模算子融合技术,充分释放了大容量片内存储和高带宽存储的利用率,将模型平均性能提升3.5倍,硬件算力利用率平均提升2倍;通过升级的编程模型以及算子自动分片、自动生成技术,自定义算子开发效率翻倍,模型迁移成本大大降低。与传统旗舰、次旗舰 GPU 相比,这款加速卡的性能也毫不落后。
燧原科技COO张亚林说,"云燧i20全面提升了算力,在兼顾全精度算力的同时大幅度提高了整型运算,大力加强了模型覆盖率和泛化支持的能力,在多项基准测试中,其模型性能、能效比均处于国内领先水平,可以满足云端推理业务高度多样化的需求。”
之江实验室发展合作部副部长吴丽娟表示,"之江实验室今年3月与燧原科技成立联合研究中心,围绕人工智能应用场景,共同开发具有标杆性的技术解决方案,构建开源开放的创新生态系统。目前,燧原科技的第一代人工智能训练产品'云燧T11’正在之江实验室搭建千卡高性能计算的液冷集群,打造符合国家碳中和政策导向的低碳绿色数据中心。未来,我们还会在智能计算的更多领域合作研发。”
燧原科技 CEO 赵立东在接受第一财经专访时表示,"传统数据中心和 AI 没有直接关系,就是 X86+GPU 加一堆存储和数据搬运,但现在数据中心越来越多引入 AI 加速平台。AI 的渗透率会越来越高,我们预计渗透率会从 5% 到 25%-30%,市场非常庞大。”
研究机构赛迪顾问报告显示,从2019年到2021年三年中国AI芯片市场规模仍将保持50%以上的增长速度,到2021年,市场规模将达305.7亿元。其中,随着大规模地方性数据中心的建设陆续完成,云端训练芯片增长速度放缓;而随着各领域市场需求的释放,云端推断芯片、终端推断芯片市场增长速度将持续呈上升趋势。
数据显示,从2019年到2024年,云端训练芯片的年复合增长率为32%,而云端推理的增长率将达69%。到2022年,中国云端推理芯片市场规模将达到189亿元,首次超过云端训练市场规模。
赵立东认为,从2018年开始到2022年,很多场景的算法和模型经过这几年开始逐渐成熟,真正规模化应用。当推理芯片销售收入超过训练芯片,很多算法、模型已经开始被广泛应用了。对AI领域来讲,2022年是个重要的节点。”
据了解,此前燧原科技推出的云燧 T10 加速卡已经在云数据中心落地,正式进入商用阶段。云燧 i20 采用 PCIe 4.0 通道,可以构成多种 AI 运算服务器。
推荐阅读:《预计2022年人工智能软件市场规模可达625亿美元》
END
声明:本文来源于综合整理,文中观点仅供分享交流,不代表本网站立场。若有标注错误或侵犯了您的合法权益,请作者持权属证明与我们联系,我们将及时更正、删除,谢谢。邮箱:info@yongxinhezi.com