智谱AI COO张帆指出，千亿模型是AIGC时代的船票，开启AI创作新纪元

在近日的2023搜狐科技峰会中，智谱AI首席运营官张帆分享了他对千亿模型在AIGC时代的看法，他指出这一技术不仅是AIGC时代的船票，更是AI创作新纪元的开启。

大模型的挑战与机遇

张帆指出，构建千亿规模的大模型并非易事，它需要克服算法、算力以及数据经验等多重挑战。他认为，数据的质量和价值观是构建高质量模型的关键，任何问题或偏差都可能导致模型难以修复。只是，正是这些挑战，也孕育了巨大的机遇。

张帆回顾了大模型的发展历程，从2017年Transformer论文的发表，到GPT-1的诞生，再到如今的ChatGPT和智谱AI的ChatGLM，大模型技术已经取得了长足的进步。智谱AI在2019年就开始关注大模型技术，并投入资源进行研究和开发，2021年下半年开始训练第一个千亿稠密的大模型，2022年8月发布并开源，得到了国际社会的积极反馈。

智谱AI构建了一个全面覆盖文本、代码、图像、视频的大模型矩阵，对标OpenAI的技术，拥有从大号模型到小号模型，从基座模型到对话模型，再到应用端的代码模型和文生图模型等。张帆强调，智谱AI的大模型生产过程中，使用的是100%自主知识产权的GLM算法，相较于GPT，GLM在挖掘知识信息方面更具优势。

张帆详细介绍了智谱AI的130B千亿语言模型，该模型在去年8月份发布，今年持续迭代。其特点包括开源、双语、在中文数据集上有领先优势，以及无损量化和全面支持国产信创等。张帆还分享了智谱AI的CodeGeeX代码模型，在多语言模型上仅次于OpenAI，并且在评测中获得了用户的高度认可。

张帆列举了几个常见的应用场景，包括文本生成、信息抽取、信息检索、对话系统等。他指出，大模型的应用场景非常广泛，如广告文案生成、新闻生成、信息提取、简历检索等，这些应用都有可能改变市场生态，带来新的机遇。

张帆指出，ChatGPT的全球破亿用户速度，得益于背后的大模型技术。他认为，只有实现千亿模型，才能成为AIGC领域的领航者。大模型在文本生成、信息抽取等应用场景中发挥着重要作用，让AI更加普惠，以更低成本、更快速地应用到各种业务场景中。

大模型发展趋势：从GPT-1到千亿模型

张帆强调，做大模型需要面对算法、算力与数据三大挑战。算法方面，大模型精度极高，但在复杂精度训练中，易出现梯度爆炸、模型崩溃等问题；算力方面，千亿模型的训练成本极高，且算力资源紧张；数据方面，优质数据是模型发展的基石，数据问题将直接影响模型性能。

智谱AI的大模型矩阵：全面覆盖文本、代码、图像、视频

大模型未来展望：更多应用场景等待挖掘