大模型迭代加速终端演进，有什么新挑战？

虽然对于不少硬件来说，AI技术早在多年前已渗透到日常功能中，但真正有望带来颠覆性改变还是AI大模型的到来和落地应用。

近日举行的阿里云深圳AI峰会上，阿里云智能集团副总裁、公共云首席解决方案架构师韩鸿源在演讲中回顾分析，云计算的发展伴随新技术爆炸和新业务爆发而持续迭代，发展至今大概经历了六个阶段，人工智能泛在存在正成为新趋势。

这也意味着更多类型终端产品和应用将持续演进和迭代，应对模型落地挑战。

北科瑞声创始人、国家重大人才计划特聘专家刘轶指出，电脑、手机、手表等终端是离用户最近的信息入口，大模型与终端的结合将加快AI技术普及。

“在大模型时代，第五代人机交互模式将取代第四代，也就是苹果率先推出的触控模式。后续将跟人之间交流一样，用自然语言交互让机器明白人的意图。那么就可能在设备端出现私有化的个人助理，甚至可以落地在汽车、平板甚至手表、手环上。”他续称，产业界也应协作推动大模型应用落地。

持续迭代

按照发展阶段来看，韩鸿源指出，最开始，云计算承载的是把线下的IT技术能力搬到云上，目的是降低成本和方便管理能力提升，到今天为止很多人对云计算的认识依然停留在这一阶段。

实际上经过初期管理能力和成本优化阶段后，云上诞生了云原生这类新的开发范式，由此加速了应用和能力的迭代提升，也促进云计算本身发展。

云原生技术普及后，下一个阶段诞生了很多先进架构需求，这来自于越来越多关键业务被承载在云上后，提出了新需求。例如通过软件定义的方式，做到高可靠性和高可用性。

此后便迎来全球化蓬勃发展，近些年来全球化过程中的云计算，面临如合规、数据主权等话题，此后通过很多工作解决掉了绝大部分担心。由此也促成国内企业蓬勃地出海发展。

近两年来，随着生成式AI爆发，对基础设施和基础能力提出新需求。“预计随着AI持续发展和成本持续降低，AI会无处不在，就进入了人工智能泛在的新发展阶段，我们在铺平需要的所有技术能力和手段准备。”他表示。

韩鸿源指出，生成式AI正对计算、数据、开发、部署等多个维度的技术能力提出新挑战。例如计算能力从PFLOPS至EFLOPS计算量需求，且要持续运行一个训练任务从数天至数月；数据量则是TB级至PB级的体量会常态化参与到计算过程中，才能产生想要的结果等。整体看，目前已有70%的组织在使用云上托管的AI服务。

目前看到的新发展方向是模型即服务。他进一步分析道，传统意义上会认为云计算是由基础设施和软件层技术来帮助实现。但随着人工智能发展，今天需要把另一个因素引进到技术栈中，就是“模型即服务”能力。此前IaaS、PaaS是更偏传统计算机架构下有效执行的能力，但到今天以模型和AI为中心时，神经网络会成为计算能力一个基础的组成部分，经网络计算方式会跟以前传统机器学习的方式有很大差异，结合新方式引入会带来很多变化，如资源池、管理方式、技术能力等。由此，未来将是IaaS+PaaS+MaaS三个方向共同结合支撑业务系统和应用有效地运行和发展。

基于这些思考和观察，通义模型系列也在持续迭代和完善生态。通义系列模型正式发布始于2022年9月；2023年10月通义系列应用发布，同时通义千问2.0发布，彼时已经具备主流先进模型能力；此外也在着手开源贡献，2024年4月，通义千亿级模型开源；期间也在构建开放社区推动商业化应用。

落地挑战

当然大模型的出现并持续迭代，也为端侧落地带来新的变量和挑战。

优必选科技副总裁、研究院副院长庞建新分享道，大模型的出现，对端侧的多模感知、任务决策和规划等提出新挑战。例如多模态感知方面，将不止包括语音和环境感知，还需要结合知识和上下文；在场景落地方面，此前手动输入了诸多条件，但随着环境优化，大模型的能力落地需要一定程度重新规划和执行。

OPPO AI技术战略规划总监陈晓春则表示，虽然AI技术已经存在了很长时间，但真正能感受到体验切实改变还是从生成式AI开始。对此，OPPO的思考是，一开始探索全域个人助理，此后是落地到本地完成一定工作；再是本地APP如何与手机结合，解决用户在手机端时间碎片化的问题。

对于手机端研发来说面临的挑战包括:一方面是时延，例如在海外手机漫游场景下如何完成端侧的实时翻译能力；其二是高隐私，端侧的意图推理具备一定隐私属性，那么在端云协同之间如何完善安全保障措施；其三是如何平衡功耗和成本，“模型在端侧运行不需要那么大，那么遇到多种感知和大模型结合的情况下，很多小尺寸甚至传统方案就要引用刚进来。”

刘轶分析道，AI在语音方面的发展对市场进行过两次较为重要的教育。第一次是Siri推出，在手表、手机上具备语音交互能力，但当时受限于算法和算力条件，并未达到多数用户的期望效果；第二次就是近期，GPT-4o的展示显示出其已经可以像人一样具备低延迟、快速理解能力。

但国内能够把语音相关交互落地成产品，真正离线落地的终端很少，这是伴随了诸多挑战和壁垒。“比如我认为7B规模的端侧模式是极限，但可能会因为用户体验问题，影响到落地在手机和平板上的产品完善；1B规模很多人在研究，但可能是面向特定行业和领域。那么最终就要与传统的处理方法，例如知识图谱、增强搜索能力关联。再真正达到可用的现实效果。”

诸多头部终端厂商都在大模型领域与阿里云深度合作，以期探索并提升产品智能化体验。

庞建新指出，优必选通过与阿里云开展大模型相关合作，希望解决如何用开源大模型，根据场景做调参技术优化、端侧部署和云端部署协同等问题。“我们相信，端云结合是短期必须落实的问题，这对知识和内容有很大依赖度，中间如何调度需要厂商自己解决，根据形态和场景任务来推进。”

OPPO也一直与通义系列模型在展开合作。“在多模态大模型加持下，人机交互侧将出现很大变革。更多服务和知识节点需要依赖云侧模型，那么就要跑在距离用户很近、算力较大的地方。算子、模型技术本身等方面，我们的研发项目都在紧密开展合作。”陈晓春分析道。

此外，vivo基于阿里云训练自研蓝心大模型，千卡大模型预训练性能接近LLaMA水平。目前，vivo蓝心大模型已对vivo手机的AI影像、智能助理、图文创作等场景进行了全面优化，并升级了视觉辅助产品“vivo看见”。

小鹏汽车也宣布，已在智能座舱场景中新增接入阿里云通义千问。在发布量产上车的端到端大模型后，小鹏成为同时将大模型落地座舱和智驾的车企。

对于产业界如何协作推动大模型应用落地，刘轶还指出，一方面要借鉴Open AI的分享和众筹机制，例如在应用中，阿里云提供通义系列底座，就需要结合千行百业，共同建设面向行业、好用的大模型；另一方面是如何做好端云协同，“语音交互在低算力条件下只能做到本地信号处理或压缩编码，更多要在云端处理，如何做好连接很重要，Rabbit R1就是在做一种尝试。”