中关村在线2月27日消息，Arm正式发布Armv9边缘人工智能（AI）计算平台。据悉，该平台以全新的Arm Cortex-A320 CPU和领先的边缘AI加速器Arm Ethos-U85 NPU为核心，可支持运行超10亿参数的端侧AI模型。
Arm 物联网事业部业务拓展副总裁马健 (Chloe Ma)
在边缘计算和IoT高速发展的当下，OEM厂商迫切在合适的位置灵活执行AI工作负载，以实现更强大的安全性和更高的软件灵活性。
为了满足这一需求，Arm此次发布的计算平台集成了全新的超高能效Armv9 CPU——Cortex-A320和支持Transformer算子网络的Ethos-U85 NPU，打造出全球首个专为物联网优化的Armv9边缘AI计算平台。相较于去年推出的基于Cortex-M85的平台，新的边缘AI计算平台的机器学习(ML)性能提高了八倍。
其中，Cortex-A320为物联网带来了先进的AI功能和开发者优势，将Armv9架构的功能扩展到高能效设备，并提供全面的软件支持。Cortex-A320采用SVE2，相较于前代产品Cortex-A35，ML性能提升了十倍，标量性能提升了30%。同时，采用的Armv9.2架构还为最小的Cortex-A设备带来了高级的安全功能。
此外，针对边缘AI软件开发和部署的复杂性，Arm将Arm Kleidi扩展到物联网。作为面向AI框架开发者的计算库，Arm Kleidi能够优化基于Arm CPU的AI和ML工作负载，无需开发者额外操作。
Arm表示，KleidiAI已集成到常见的物联网AI框架中，如Llama.cpp和ExecuTorch或LiteRT（通过XNNPACK），加速了Meta Llama 3和Phi-3等关键模型的性能。例如，在Llama.cpp上运行微软的Tiny Stories数据集时，KleidiAI为新的Cortex-A320带来了高达70%的性能提升。
AI的未来趋势将转向边缘，而全新Arm边缘AI计算平台将成为新一轮物联网创新的催化剂。Armv9能够支持基于智能体的AI应用上运行经过调优的大语言模型(LLM)和小语言模型(SLM)，从而开辟全新类别的边缘应用场景。
本文属于原创文章，如若转载，请注明来源：Arm发布Armv9边缘AI计算平台，支持运行超10亿参数端侧AI模型https://server.zol.com.cn/953/9539195.html
