Meta 现推出了一个名为 Code Llama 的 AI 编码工具,号称“最先进的大型编码语言模型”。
该模型基于 Llama 2 大型语言模型打造,可以理解为“Llama 2 的写代码专用版”,可用于“生成新的代码并调试人类编写的工作”,目前已上线 Github。
Code Llama 将采用与 Llama 2 相同的社区许可,并对研究和商业领域免费开放。
Code Llama 能够根据代码核自然语言提示 / 要求生成你想要的代码和有关代码的自然语言,或者在指向特定代码时进行完善和调试。
除了基础版的 Code Llama 外,Meta 还推出了专为 Python 设计的版本 ——Code Llama-Python,以及一个能够理解自然语言指令的版本 ——Code Llama-Instrct。
在 Meta 的基准测试中,Code Llama 在编程任务上的表现优于最先进的公开可用的 LLM 模型。
每个特定的 Code Llama 版本都不可切换 / 替代,公司不建议将基本 Code Llama 或 Code Llama-Python 用于自然语言指令。
Meta 发布了三种大小的 Code Llama,分别具有 7B、13B 和 34B 参数。每个模型都使用 500B 代码 tokens 和代码相关数据进行训练,而且 7B 和 13B 基础模型和指令模型也经过了中间填充 (FIM) 功能的训练,允许它们将代码插入到现有代码中,这意味着你现在就可以将其用于“代码补完计划”。
这三种模型各有优缺,例如 7B 模型可以在单个 GPU 上运行;34B 模型可提供最佳结果以及更好的编码辅助能力;7B 和 13B 速度比 34B 模型更快,更适合需要低延迟的任务。
“程序员们已经在使用 LLMs 来协助完成各种任务,从编写新软件到调试现有代码,” “目标是使开发人员的工作流更高效,这样他们就可以专注于他们工作中最以人为本的方面。”
Code Llama 在基准测试中的表现优于现有的公开可用 LLMs,但没有具体指明它是针对哪些模型进行测试的。
Code Llama 在 HumanEval 代码基准测试中得分为 53.7%,能够根据文本描述准确编写代码;在 MBPP 上得分为 56.2%,与最先进的 ChatGPT 相当。
GitHub 在今年 3 月推出了基于 GPT-4 的 Copliot 以帮助用户快速编写和检查代码,还可以重写旧代码以进行更新,但却因被指控侵犯版权法而面临法律诉讼。
亚马逊 AWS 也有一款 CodeWhisperer,它可以编写、检查和更新代码;而谷歌在 AlphaCode 中也有一个编写代码的工具,但尚未公开发行。