在8月16日,联发科宣布与百度携手共创飞桨和文心大模型硬件生态,这一举措标志着双方在AI领域迈出了重要一步。双方将共同推进联发科硬件平台与飞桨和文心大模型的适配,以实现大模型在终端和云端的协同工作,为用户带来突破性的生成式AI应用体验。
相较于传统的云端部署,终端侧部署生成式AI在节约服务器成本、保护用户信息安全、提升实时性和实现个性化用户体验等方面具有显著优势。联发科与百度的合作,将支持基于联发科芯片的智能手机、汽车、智能家居、物联网等终端设备上运行文心大模型,从而赋能终端设备提供更安全、可靠和差异化的使用体验。
联发科与百度合作已久,双方已完成了Paddle Lite轻量化推理引擎基于联发科NeuroPilot人工智能通用软件平台的适配。AI开发者可以使用主流的TensorFlow、Pytorch、TF Lite、Caffe、Caffe2以及其他自定义的第三方通用AI框架来构建神经网络模型,并接入到NeuroPilot系统,充分发挥联发科AI系统的强劲算力,显著提高模型运行在设备上的效率,并降低功耗和内存消耗。
NeuroPilot是联发科为开发者提供的基于本地端侧的AI运算解决方案,它为内建CPU、GPU 和 APU等异构运算单元的MediaTek SoC平台提供完整且强大的软件解决方案。NeuroPilot支持开发者在现有和未来的联发科硬件平台以及包括智能手机、汽车、智能家居、物联网等产品线实现“一次编写,全场景通用”,帮助开发者在MediaTek平台上高效开发和部署基于神经网络模型的AI应用程序。