高通技术公司,这个在移动通信领域内拥有深厚底蕴的企业,正计划从2024年开始,在搭载骁龙平台的终端上支持基于Llama 2的AI部署。这一举措,无疑为终端侧AI应用开辟了新的天地。高通AI软件栈,这套专为骁龙平台设计的AI处理工具,使得轻薄的小型终端也能实现终端侧AI的功能。
高通的终端侧AI部署计划,旨在打造AI应用,支持客户、合作伙伴和开发者构建智能虚拟助手、生产力应用、内容创作工具和娱乐等用例。这些由骁龙赋能的全新终端侧AI体验,不仅能在没有网络连接的区域工作,甚至能在飞行模式下运行,为用户带来前所未有的便捷。
Meta和高通技术公司的长期合作,不仅推动了技术创新,也为打造下一代顶级终端体验奠定了基础。目前,双方在支持Llama生态系统方面的合作,已经覆盖了研究和产品工程技术工作,共同为终端侧AI的发展贡献力量。
据DoNews7月19日消息,高通公司18日宣布,正在和Meta合作优化Meta Llama 2大语言模型直接在终端侧的执行,无需仅依赖云服务。这一技术突破,使得Llama 2一类的生成式AI模型能够在智能手机、PC、VR/AR头显和汽车等终端上运行,为开发者节省云成本,并为用户提供更加私密、可靠和个性化的体验。
凭借终端侧AI的领导力,高通技术公司在支持Llama生态系统方面具备独特优势。公司拥有领先的边缘侧布局,其行业领先的AI硬件和软件解决方案赋能了数十亿智能手机、汽车、XR头显与眼镜、PC和物联网等终端,为生成式AI的规模化 提供了广阔机遇。
在本地化的实际案例中,一家国内知名手机品牌便利用Llama 2实现了其终端侧AI的升级。该品牌通过高通AI软件栈,将Llama 2整合到其新款手机中,为用户提供包括智能语音助手、图像识别等AI功能。据该品牌公布的数据显示,自Llama 2部署以来,用户对AI功能的满意度和使用频率均有了显著提升。