新华财经上海7月25日电(记者杜康)大模型不仅落地千行百业,还在加速落地电脑、手机、眼镜、耳机等各类交互终端。25日,后摩智能正式发布端边大模型 AI 芯片M50,同步推出力擎系列 M.2卡、力谋系列加速卡及计算盒子等硬件组合,形成覆盖移动终端与边缘场景的完整产品矩阵。
据介绍,M50 芯片典型功耗仅10W,能让PC、智能语音设备、机器人等智能移动终端高效运行1.5B 到 70B 参数的本地大模型,可实现“高算力、低功耗、即插即用”。
当前,大模型正在加速落地千行百业。与此同时,大模型也在更多落地各类人机交互终端,包括个人电脑、手机、机器人、眼镜、耳机、手表等。和部署在云端的大模型相比,端侧大模型具备隐私保护强、响应速度快等优势。可以看到,已经不断有小尺寸大模型落地端侧。市场对能够更好适配端侧大模型的端侧算力需求也不断提升。
根据第三方弗若斯特沙利文预测,全球端侧AI市场规模预计将从2025年的3219亿元增长至2029年的1.2万亿元,复合年增长率高达39.6%。
“端侧算力需要同时满足三个重要指标:高算力、高带宽、低功耗。”后摩智能 CEO 吴强介绍,依托其存算一体技术优势,后摩智能把计算和存储单元集成在一起,让数据就近处理,从而解决了传统芯片数据传输慢、功耗高问题,完美适配了端边设备‘算得快又吃得少’的需求。
除了 M50 芯片,后摩智能此次发布的产品矩阵形成了覆盖端侧到边缘的多元算力方案。吴强表示,此次发布的AI芯片及系列硬件产品,可广泛应用于PAD、PC、智能语音设备、机器人等多种智能移动终端,以及一体机、计算盒子、工作站等智能边缘设备上,助力消费终端、智能办公、智能工业等领域产业升级,推动 AI 技术普惠落地。
“此次我们发布端侧算力方案,可广泛应用于消费终端、智能办公、智能工业等多元领域,且均能在离线状态下实现全流程本地处理,从源头杜绝数据联网传输风险。例如在消费终端,赋能笔记本、平板电脑、学习机等设备本地大模型推理能力,无需联网即可完成智能交互、内容生成等任务,用户隐私数据全程闭环留存。智能办公场景中,智能会议系统在断网环境下仍能实现多语种翻译以及会议纪要的生成,保证内容不触云、不泄露;智能工业领域,产线质检与车路云协同通过本地算力完成实时分析决策,避免云端传输隐患。”吴强说。
后摩智能创立于 2020 年,目前已获得中国移动产业链发展基金、北京市人工智能基金,北京市亦庄产业升级基金、中国国有企业混改基金等多家机构的投资。
好股配资平台提示:文章来自网络,不代表本站观点。