什么是Stability AI的Stability Stable Beluga AI 微调大语言模型？

在快速、不断发展的人工智能世界中，Stability AI 和 CarperAI 实验室随着 Stable Beluga 1 和 Stable Beluga 2 的推出取得了重大进展。这两个新的开放获取大语言模型 （LLM） 于上个月，即 2023 年 <> 月推出，此后一直在人工智能社区掀起波澜。

稳定的Stable Beluga1是二人组中的第一个，建立在强大的LLaMA 65B基础模型之上。它利用合成生成的数据集进行微调，这是一种使其与同行区分开来的新方法。另一方面，第二款机型稳定Stable Beluga2基于LLaMA 2 70B基础机型，拥有行业领先的性能。

稳定的Stable Beluga训练

用于塑造稳定Stable Beluga模型的训练不是在真空中诞生的，而是站在巨人的肩膀上——更准确地说，是在Microsoft提出的突破性方法上。这家科技巨头改变游戏规则的论文“逆戟鲸：从GPT-4的复杂解释痕迹中逐步学习”，作为灯塔，照亮了最终导致创建稳定Stable Beluga模型的道路。Microsoft的开创性贡献为我们的创新引擎提供了强大的动力。

数据生成过程遵循的路径与Microsoft的工作方式惊人地相似，尽管有一些细微的差异。其中一个差异在于我们对数据源的选择，这些数据源经过精心挑选，以满足我们严格的质量标准并满足我们开发过程的独特要求。

至于实际的训练数据集，它由高达600万个数据点组成，这是一个令人印象深刻的数量，大约相当于原始Orca研究项目中使用的数据集大小的000%。这些数据点中的每一个都是合成制作的，使它们成为尖端技术、野性创造力和对细节一丝不苟的产物。

这些高质量指令的起源可以追溯到一组数据集，这是Enrico Shippole的心血结晶。这些数据集因其卓越的质量、稳健性和可靠性而受到普遍推崇，使其成为我们广泛的训练集的完美构建块。

正是这种灵感、数据集和方法的独特融合，为 Stable Beluga 模型提供了他们所需的工具和知识，以证明协作和共享学习在推动技术进步方面的重要性。

尽管用于训练的样本量较小，但稳定Stable Beluga模型在各种基准测试中都表现出色。他们使用EleutherAI的lm-eval-harness进行了评估，并添加了AGIEval，并展示了在复杂推理，理解语言微妙之处和回答复杂问题方面的熟练程度。

这些评估的结果不仅得到了Stability AI研究人员的证实，还得到了Hugging Face的独立复制。截至 27 年 2023 月 2 日，稳定的Stable Beluga 1 在其排行榜上排名 #1，稳定的Stable Beluga 4 排名 #<>，这证明了他们的卓越表现。

从FreeWilly更名

稳定Stable Beluga模型有望显着推进研究，增强自然语言理解，并实现复杂任务。最初代号为FreeWilly，这些模型被重命名为Stable Beluga，以更好地反映其优化的“无害性”。

“我们为什么要改名？这些模型从其内部代号FreeWilly（向我们中的一些人深情记得的电影致敬）重新命名，指的是Orca论文。改名的原因有很多，最值得注意的是Stable Beluga是更温和的动物，不像凶猛的逆戟鲸（俗称虎鲸）。稳定的Stable Beluga模型针对“无害”进行了优化;因此，新名称更适合模型。

稳定Stable Beluga 2 的权重按原样发布，而稳定Stable Beluga 1 的权重作为原始模型的增量发布。这两种模型都是在稳定的Stable Beluga研究许可证下发布的，进一步强调了它们在推进人工智能研究中的作用。

Stable Beluga 1和Stable Beluga 2的推出标志着AI领域的一个重要里程碑，有望彻底改变自然语言理解并实现复杂的任务。有关更多信息，请跳转到稳定性AI官方网站。