谷歌公司近日发布了 CodeGemma 先进大语言模型(LLMs),专门用于生成代码、理解和追踪指令等,开发目的是让全球开发人员更容易获得高质量的代码辅助工具。
CodeGemma 作为 Gemma 模型的开放访问系列推出,针对代码开发场景进行优化、微调(fine-tuned)。该套件包括三种不同的模型:
20 亿参数的基础模型:优化补全和生成代码,在注重延迟和隐私的情况下主要为代码提供快速高效的解决方案。
70 亿参数基础模型:整合代码补全和自然语言处理,增强了其在完成代码和理解语言生成任务时的实用性。
用于指导追踪的 70 亿参数模型:用户参与有关代码、编程和数学推理的对话,是开发人员寻求指导或注释的宝贵资源。
CodeGemma 的上述 3 个模型利用了预先训练的 Gemma 检查点,此外还训练了英语、数学和各种编码语言的另外 5000 亿个词块,在逻辑和数学推理方面的超凡能力,为代码生成和完成树立了新的标杆。
70 亿参数模型在 Python、Java、JavaScript 和 C++ 等各种编程语言中均表现出色。在 HumanEval 和 MultiPL-E 基准测试中取得的优异成绩充分证明了这一能力。此外,该模型在 GSM8K 评估中名列前茅,也证明了它的多功能性和有效性。