国产大模型ChatGLM3发布：用华为芯片推理速度提升超3倍，多能力对标GPT-4V

10月27日下午举行的中国计算机大会（CNCC2023）一场论坛上，阿里、腾讯投资的人工智能（AI）独角兽公司智谱 AI 正式发布全新自研的第三代基座大模型ChatGLM3系列。

新的ChatGLM3包括ChatGLM3-1.5B（15亿）、3B和6B参数三种，不仅在多模态理解、代码模块、网络搜索等能力上有所提升，而且相对最佳开源模型推理速度提升2-3倍。同时，基于集成自研AgentTuning技术，在智能规划和执行上比ChatGLM-2提升1000%。另外，ChatGLM3还利用华为昇腾生态，使算力推理速度提升3倍以上。

智谱 AI CEO张鹏表示，最新的自研模型ChatGLM3就是瞄准GPT-4V（多模态版的GPT-4）的跨模态能力，是ChatGLM全新一代的技术升级。

“对标OpenAI是智谱 AI 成立以来的目标。智谱 AI 致力于让机器像人一样思考，我们希望利用ChatGLM3通用基座模型能力，与合作伙伴一起共同的支撑千行百业，进入生成式 AI‘第二阶段’。”张鹏称。

据悉，智谱 AI 成立于2019年，脱胎于清华大学计算机系知识工程研究室团队，是清华大学知识成果转化的创业公司，瞄准 AI 大模型研发落地，公司CEO张鹏毕业于清华计算机系，总裁王绍兰为清华创新领军博士，清华大学计算系教授唐杰也参与研发中国最大规模预训练模型悟道2.0。

2020年，智谱AI 开始GLM预训练架构的研发，并训练了100亿参数模型GLM-10B；2021年利用MoE架构成功训练出万亿稀疏模型；2022年公布1300亿级超大规模预训练通用模型GLM-130B，并以此打造大模型平台及产品矩阵。

2023年，智谱AI 推出千亿基座的对话模型ChatGLM，并开源单卡版模型ChatGLM-6B等，部署于个人开发者和企业应用领域。今年6月，智谱AI 迭代出ChatGLM2，包括6B、130B、12B（120亿参数）、32B、66B等参数的模型，推理速度增长42%。据张鹏透露，相比GPT-4版的ChatGPT，ChatGLM2-12B、32B和66B性能分别提升16%、36%和280%。

当前，智谱 AI 开源模型在全球下载量已超过1000万次。同时，该公司也进行商业化探索，打造AIGC（生成式 AI）模型及产品矩阵，包括已获批上线的智谱清言、高效率代码模型CodeGeeX等。

融资方面，创立至今的四年多，智谱AI 共完成四轮融资。10月20日，智谱 AI 宣布年内累计融资额超过25亿元人民币，投资方包括社保基金中关村自主创新基金（君联资本为基金管理人）、美团、蚂蚁、阿里、腾讯、小米、金山、顺为、Boss直聘、好未来、红杉、高瓴等多家机构，而君联资本等部分老股东跟投，华兴资本担任独家财务顾问。

截至目前，智谱 AI 公司估值已超过100亿元，是国内 AI 领域独角兽企业。公司称，上述融资将用于基座大模型的进一步研发，更好地支撑行业生态。

此次，智谱 AI 发布的最新ChatGLM3通用基座大模型，在性能、推理、算力、Agent智能体能力、API商业化等方面均有提升。

其中，性能方面，ChatGLM3-6B在44个中英文公开数据集测试中国内同尺寸模型排名首位，相比ChatGLM2-6B，多个排名提升33%以上，GSM8K基准提升179%；推理方面，相较于目前伯克利大学开源的vLLM，速度提升2-3倍，推理成本降低一倍。

同时，新的模型还集成自研AgentTuning技术，激活模型智能体能力，在智能规划和执行方面比ChatGLM2提升1000%，支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景，最新AgentBench基准测试上ChatGLM3-turbo和GPT-3.5接近；国产算力层面，以昇腾生态为例，ChatGLM3推理速度提升达3倍之多。

而在模型尺寸上，ChatGLM系列首次增加1.5B、3B这类小参数模型/张鹏称，主要原因是用户需求和算力成本之间的平衡，而且支持国产芯片的边缘侧模型ChatGLM3-1.5B可在笔记本电脑、手机、汽车等场景部署，速度达20 Tokens/s，精度上1.5B和3B模型与ChatGLM2-6B模型性能接近。

现场演示中，对标ChatGPT、基于ChatGLM3的 AI 聊天机器人平台“智谱清言”，如今不仅可以实现表格生成柱状图、折线图，而且还可以获得实时新闻搜索数据、看蔬菜写菜谱以及代码生成函数等能力。

然而，钛媒体App也发现，在比如“用代码画心形”这类问题上，智谱清言仍存在一定的输出错误等幻觉问题。

另外，在To B企业端方面，智谱AI 提供的 API 开放平台支持开放模型、专属模型、本地化私有模型部署方案，帮助企业去构建自主可控大模型。同时，ChatGLM3 开发平台从三种量级整合为ChatGLM3-turbo，只提供一个标准 API模型方案，整体价格降低50%。

“这（ChatGLM3模型价格）达到国内最低，甚至在全世界范围之内大模型 API 售价最低的水平线。”张鹏表示。

据钛媒体App了解，目前智谱 AI 公司主要销售三类技术产品：数字人SaaS/PaaS方案，科技情报SaaS/PaaS方案，以及包括ChatGLM系列在内的认知大模型PaaS/MaaS平台方案。

张鹏透露，目前智谱 AI GLM大模型已经应用于政务、金融、能源、制造、医疗等领域，支持华为昇腾、神威超算、海光DCU等10余种国产硬件生态，合作伙伴包括阿里、腾讯云、火山引擎、华为、美团、微软、OPPO、海天瑞声等数十家公司。