1月16号,智谱AI在北京举办首届技术开放日(Zhipu DevDay),重磅发布了新一代基座大模型GLM-4——国产全自研、中文能力逼近GPT-4。在活动上,智谱AI团队全面展示了其投身于大模型事业三年多来所积累的技术成果,智谱AI CEO张鹏表示,2024将是AGI元年。达晨于2021年初领投智谱AI A轮融资并多轮加注。
智谱AI从2020年底开始研发GLM预训练架构,2021年训练完成百亿参数模型GLM-10B,同年利用MoE架构成功训练出收敛的万亿稀疏模型,2022年合作研发了中英双语千亿级超大规模预训练模型GLM-130B。2023年,智谱AI推出了基于千亿基座的对话模型ChatGLM,并开源单卡版模型ChatGLM-6B,使得研究者和个人开发者进行本地微调和部署成为可能。并于同年并成为通过《生成式人工智能服务管理暂行办法》备案的第一批大模型,上线首款生成式AI助手「智谱清言」。
此次新基座大模型GLM-4的发布及上线,是智谱AI大模型研发上的关键突破。GLM-4的整体性能相比上一代大幅提升,逼近GPT-4。它可以支持更长的上下文,具备更强的多模态能力。同时,它的推理速度更快,支持更高的并发,大大降低推理成本。除此之外,GLM-4大幅提升了智能体能力,GLM-4 All Tools 实现自主根据用户意图,自动理解、规划复杂指令,自由调用网页浏览器、Code Interpreter代码解释器和多模态文生图大模型以完成复杂任务。GLMs 个性化智能体定制功能亦同时上线,用户用简单的提示词指令就能创建属于自己的 GLM 智能体。
具体来说,GLM-4可以支持128k的上下文窗口长度,单次提示词可以处理的文本可以达到300页。同时,在needle test(大海捞针)测试中,128K文本长度内GLM-4 模型均可做到几乎100%的精度召回,并未出现长上下文全局信息因为失焦而导致的精度下降问题。同时,多模态能力方面,文生图和多模态理解都得到了增强。
此外,GLM-4的All Tools能力全新发布。得益于GLM模型的强大Agent能力,GLM-4实现了自主根据用户意图,自动理解、规划复杂指令,自由调用网页浏览器、Code Interpreter代码解释器和文生图CogView3模型。同时,GLM-4 通过代码解释器,会自动调用代码解释器进行复杂的方程或者微积分求解。对比GSM8K、Math以及Math23K三个数据集上的结果,GLM-4 All Tools取得和GPT-4 All Tools相当的效果。GLM-4的All Tools能力完全自动,而且可以处理各种任务,比如包括文件处理、数据分析、图表绘制等复杂任务,支持处理 Excel、PDF、PPT 等格式的文件。
GLMs个性化智能体定制能力也同步上线。基于GLM-4模型的强大能力,用户只要登录智谱清言官方网站(https://www.chatglm.cn/),用简单的提示词指令就能创建属于自己的GLM智能体。并且,用户可以通过全新上线的智能体中心分享自己创建的各种智能体。GLM模型智能体的推出标志着任何人都能够自由运用GLM-4模型并挖掘它的潜力,没有任何编程基础也能够实现大模型的便捷开发。这是智谱AI为降低大模型使用门槛所做的最新努力。
此前,智谱AI分别联合CCF中国计算机学会、中国中文信息学会社会媒体处理专委会发起了CCF-智谱大模型基金、SMP-智谱大模型交叉学科基金,用于支持大模型理论、算法、模型、应用等相关研究和跨领域交叉创新。去年两支基金为来自全国三十余所高校参与的41个研究项目累计提供了超1000万元现金和算力资源的科研支持。
2024年,智谱AI也将发起开源开放的大模型开源基金,该计划包括三个“一千”:
1000张卡。智谱将为大模型开源社区提供一千张卡,助力开源开发 1000万人民币。智谱将提供 1000 万元的现金用来支持与大模型相关的开源项目 1000亿tokens。智谱将为优秀的开源开发者提供1000亿免费 API tokens
智谱AI CEO张鹏表示,大模型开源基金的目的在于推动大模型研发的大进展,促进大模型整个开源生态的大繁荣。面对全球的大模型创业者,智谱AI也将“Z计划”进一步升级,联合生态伙伴发起总额10亿人民币的大模型创业基金用于支持大模型原始创新,覆盖大模型算法、底层算子、芯片优化、行业大模型和超级应用等方向。
2024年被业界普遍认为是人工智能发展历史上的又一重要年份。在这个时刻,智谱AI通过举办技术开放日,不仅展示了自身在AI领域的优势地位,也为整个行业的发展注入了新的动力。智谱AI CEO张鹏表示:“大模型创新研发是一条长征路,一枝独秀不是春,我们希望与人工智能行业所有的参与者、产业链上下游合作伙伴、开发者社区、学术界一同努力,为中国AI新未来贡献绵薄之力。”
达晨2021年投资智谱AI后,见证了公司的高速成长和团队的持续自主创新能力。过去10个月,公司已发布了3代ChatGLM模型矩阵和智谱清言等系列产品,而今天发布的新一代基座大模型GLM-4,性能再次全面提升。除模型自身的强大能力外,应用商店、科研基金、开源基金、创业基金等也支撑了GLMs未来进一步开放的共建生态,相信未来智谱AI还将给我们带来持续的惊喜,达晨也将继续支持和携手智谱AI等中国人工智能创新力量,共赴新一代科技浪潮。