在新科技浪潮下，边缘AI正崭露头角。
未来市场洞察最新报告显示，全球边缘人工智能（AI）市场在2024年达到89.01亿美元，预计将在2023年飙升至711.31亿美元，年复合增长率高达23.1%。边缘AI市场的高速增长也预示着边缘AI将成为各个行业的关键驱动力。中关村在线认为，边缘AI既迎来机遇又面临挑战，包括但不仅限于创新场景应用深度广度不足、服务稳定性和安全性有待加强，以及边缘系统互联互通存在障碍等。
如何应对这些挑战，成为边缘计算的当务之急。近日，Arm发布全球首个专为物联网优化的Armv9边缘AI计算平台。据Arm物联网事业部业务拓展副总裁马健介绍，该平台以全新的Arm Cortex-A320 CPU和领先的边缘AI加速器Arm Ethos-U85 NPU为核心，可支持运行超10亿参数的端侧AI模型。在中关村在线看来，Armv9边缘AI计算平台的发布，不仅标志着Arm将推动物联网实现性能的跃迁，同时也将加速边缘计算的AI升级进程。
推动边缘AI创新，创新者永不止步
边缘AI是指将AI算法直接部署于边缘设备，实现数据生成源附近的处理与推理，无需依赖云计算，具备低延迟、强化数据隐私保护及高效能等优势。马健也对边缘AI进行了通俗的解释，她认为，在百模大战的背景下，各大企业关注的焦点集中于云数据中心的集中式训练，而推理环节所需的传感器、摄像头等采集的数据回传云端既不现实也不经济，特别是在对延迟、隐私保护及可靠性有严格要求的应用场景中，边缘AI的部署显得尤为迫切。
特别是在AI大模型应用加速的当下，推动边缘AI创新的趋势也愈发明显。此前，Gartner也对边缘侧AI应用的发展趋势进行了预测。预测数据显示，到2026年，全球80%的企业将在其业务中引入生成式AI，其中边缘场景下的AI普及率将达到50%。AI将成为边缘场景的重要负载。对此马健表示，由于Arm计算平台在边缘侧的领导地位，在工业自动化、智慧城市、智能家居等领域，OEM厂商、软件开发者正寻求与Arm联手营建边缘AI推理生态系统，释放AI价值。
洞察边缘计算发展契机的Arm，从AI发展初期开始，便致力于推动边缘智能创新的发展。在此前，Arm推出的适用于Armv8-M架构的Cortex-M向量扩展技术Helium、Arm Ethos-U AI加速器等已在物联网领域实现广泛应用，为数十亿台边缘设备带来强大的AI与机器学习能力。“新发布的以Arm Cortex-A320 CPU和边缘AI加速器Arm Ethos-U85 NPU为核心的Armv9边缘AI计算平台，使CPU与NPU实现了深度配合，让IoT设备能够在正确的时间、合适的地方运行最适合的工作负载，进一步推动边缘AI领域持续发展。”马健如是说。
此外，Arm还公布关于边缘AI计算平台几组数据，比如，相较于去年推出的基于Cortex-M85搭配 Ethos-U85 的平台，新的边缘AI计算平台的机器学习(ML)性能提高了八倍；又比如，能够支持运行超10亿参数的端侧AI模型；再比如，该平台受到了包括亚马逊云科技（AWS）、西门子、瑞萨电子、研华科技和Eurotech在内的多家业界领先合作伙伴的支持。
进击的Cortex-A320，赋能IoT及边缘AI创新
在持续演进的物联网环境中，边缘设备迎来哪些挑战？Arm物联网事业部高级产品经理Dimosthenis Rossidis在题为《详解Arm Cortex-A320，针对物联网优化的超高能效Armv9 CPU》的文章中指出，边缘AI需要更卓越的计算性能、更强大的安全性，以及更出色的软件灵活性，全新发布的Cortex-A320 CPU为快速增长的高度多样化物联网市场提供了性能强劲且可扩展的解决方案，使其成为边缘AI应用的理想之选。
马健表示，作为Arm首个基于Armv9架构设计的超高能效CPU，全新的Cortex-A320 CPU专门为物联网应用优化，它不仅构成了Arm最新边缘AI计算平台的核心组件，还有力推动了边缘AI领域实现变革。相较于前代产品Cortex-A35，Cortex-A320的ML性能提升了十倍，标量性能提升了30%。能效也相较于Cortex-A520提升50%。
不仅如此，Cortex-A320最高可支持四核共享集群，可根据不同需求灵活扩展，满足各种应用场景的需求。此外，Cortex-A320充分利用了Armv9增强的安全性和AI计算特性。在安全方面，Cortex-A320引入Secure EL2，指针验证/分支目标识别（PACBTI）和内存标记扩展（MTE）等安全特性，进一步提升边缘设备在暴露环境中运行并处理敏感数据的安全性。
同样重要的还有AI计算能力的增强。Cortex-A320 CPU融合了增强的Neon与可伸缩向量扩展（SVE2）技术，显著提升了ML的计算能力。其还支持新型数据类型如BFloat16，从而在确保AI计算高精度的同时提高了能效。此外，Cortex-A320还新增了矩阵乘法指令，优化了AI与ML的计算性能，为神经网络推理和训练任务带来了更快的处理速度。
“这些改进使Cortex-A320成为物联网设备的理想AI计算平台，能够高效执行复杂的边缘AI任务，同时保证系统的安全性、可靠性和数据完整性。”马健强调，“Arm正在为智能物联领域提供全方位的最先进的基于Armv9架构的Cortex处理器系列，从超高性能的Cortex-X925到超高能效的Cortex-A320，无论物联网设备的具体应用需求如何多变，都能找到最合适的Armv9处理器解决方案”
扩展到物联网的Arm Kleidi能做什么？
边缘AI普及面临的最主要障碍之一是软件开发和部署的复杂性，这正是Armv9边缘AI计算平台软件生态系统发挥优势的关键所在。马健表示：“真正的边缘AI计算平台需要足够的灵活性，使工作负载既可以运行在CPU，又能运行在AI加速器，例如，在连续图像检测任务中，通常会优先在 AI 加速器上运行，以提高能效。然而，对于单张图像的处理，在 CPU 上执行可能更高效。对于在 CPU 上运行的 AI 任务，我们希望能够获得最优的性能，这正是 Arm Kleidi 发挥作用的地方。”
据介绍，去年Arm推出了Kleidi软件库，并将其引入了智能手机和服务器市场，它包含优化AI负载在Arm CPU上执行的KleidiAI和加速机器视觉的KleidiCV。如今，Arm Kleidi也被扩展到了物联网领域。KleidiAI是一套专为AI框架开发者设计的计算内核，让开发者可以无缝地在Arm CPU上获取最佳性能，适用于各类设备。马健介绍，KleidiAI支持如Neon和SVE2等Armv9架构的关键特性，大幅提升了AI的计算效率。此外，KleidiAI已经集成到多个主流AI框架，包括Llama.cpp、ExecuTorch和LiteRT，可以加速Meta Llama 3和Phi-3等主流AI大模型，进一步释放AI计算性能。数据显示，在Llama.cpp上运行微软的Tiny Stories数据集时，KleidiAI为新的Cortex-A320带来了高达70%的性能提升。
事实上，这些提升至关重要，因为在当今快节奏的技术环境中，产品的上市速度往往决定其成败。新的边缘AI计算平台确保了与更高性能Cortex-A处理器在软件层面的无缝兼容。这种可扩展性使开发者能够打造可随需求变化而灵活调整的解决方案。
借助庞大的Armv9生态系统，以及与Linux等功能丰富的操作系统和Zephyr等实时操作系统的兼容性，开发者拥有了前所未有的灵活性。他们可以充分利用现有的工具和知识，以及软件复用的优势，从而加快产品上市时间，并降低总体拥有成本。全球范围内有2,000多万活跃的Arm开发者，这为未来的技术创新提供了巨大潜力。
写在最后
随着DeepSeek、豆包等热门AI大模型的兴起，大模型正加速向行业应用渗透，驱动计算产业持续进步。一方面，大模型训练促使算力向集群化演进，显著提升了训练速度与效率。另一方面，在大模型推理的应用层面，企业对本地化、私有化及混合部署的需求激增，加速了边缘AI算力的发展，使其成为边缘场景的关键支撑。
更为关键的是边缘AI市场日益升温，吸引了硬件制造商、整体方案提供商及云服务商等积极入局，不仅催生了众多边缘AI应用，也为各行各业的智慧化转型提供了强大动力。边缘AI作为算力市场的新焦点，正在成为新的竞争蓝海。在此背景下，新发布的Armv9边缘AI计算平台，将凭借其特性、先进的AI功能和全面软件支持的结合，为OEM厂商和开发者创造了新的可能性。
在边缘AI高速发展的当下，Armv9边缘AI计算平台将大有可为。Arm高级副总裁兼物联网事业部总经理Paul Williamson表示，“AI的革新已不再局限于云端。随着世界的互联和智能化水平的日益提升，从智慧城市到工业自动化，在边缘侧处理AI工作负载不仅带来显著的优势，其必要性更是不可或缺。专为物联网打造的Armv9边缘AI计算平台的推出，标志着这一发展趋势迈入了重要的里程碑。”
本文属于原创文章，如若转载，请注明来源：边缘计算AI升级加速，Armv9边缘AI计算平台引领物联网性能变革!https://server.zol.com.cn/956/9564470.html
