马斯克的xAI涉嫌使用ChatGPT数据进行训练

“

Elon Musk旗下的xAI公司最新推出的语言模型Grok因其行为与OpenAI的ChatGPT相似而受到关注。安全测试员Jax Winterbourne的推文展示了Grok拒绝查询并指称违反OpenAI政策。xAI公司辩护称在训练中意外捕捉到了类似ChatGPT的输出。专家对此表示怀疑，暗示可能是在OpenAI数据上有意微调。此事件突显了AI项目越来越倾向于使用合成数据进行模型优化的趋势，引发了OpenAI与xAI之间的竞争争议。

Grok，埃隆·马斯克的xAI公司最新推出的xAI语言模型，上周面临广泛关注并出现故障。安全测试员Jax Winterbourne在上周五发布的推文中截图显示，Grok在拒绝查询时提示：“很抱歉，我无法满足该请求，因为它违反了OpenAI的用例政策。” 这一事件在社交媒体上引起了轰动，因为Grok并非由OpenAI开发，而是由xAI公司推出的与ChatGPT竞争的产品。

xAI技术团队成员伊戈尔·巴布舒金（Igor Babuschkin）对此进行了回应：“问题在于网络上充斥着ChatGPT的输出，所以在我们训练Grok时，我们意外地捕捉到了一些这样的输出。当第一次看到这个时，我们感到非常吃惊。值得一提的是，这个问题非常罕见，我们现在已经意识到了，并将确保Grok的未来版本不会再有这个问题。别担心，我们没有使用OpenAI的代码来构建Grok。”

然而，一些专家对巴布舒金的解释表示怀疑，因为通常大型语言模型不会直接输出其训练数据。如果Grok在网络上捡到一些OpenAI零星政策，这可能是可以预期的。相反，基于OpenAI政策拒绝输出的概念可能需要在训练中专门进行。有观点认为，Grok可能是在OpenAI语言模型的输出数据上进行了微调，这是一种通过合成数据对AI模型输出进行微调的普遍做法。

AI研究员Simon Willison在接受采访时表示：“我对Grok仅仅因为互联网充满了ChatGPT内容而输出相关信息这一说法感到有些怀疑。我在Hugging Face上看到过许多开源权重模型表现出相同的行为，表现得好像它们是ChatGPT，但不可避免地，它们是在使用OpenAI的GPT-3模型的输出上进行了微调，或者是从ChatGPT本身抓取的。我认为Grok更有可能是在包含ChatGPT输出的数据集上进行了指令调整，而不是完全基于网络数据。”

随着OpenAI的大型语言模型（LLMs）变得越来越强大，一些AI项目，尤其是开源项目，越来越普遍地使用合成数据对AI模型输出进行微调。例如，今年 3 月，斯坦福大学的一组研究人员推出了 Alpaca，这是 Meta 的 LLaMA 7B 模型的一个版本，该模型使用 OpenAI 的 GPT-3 模型（称为 text-davinci-003）的输出进行了指令跟踪微调。

这种做法是AI工具未来用来构建更复杂的AI工具的一种方式，类似于人们开始使用微型计算机设计比纸和笔绘制更复杂的微处理器。然而，未来xAI可能需要更仔细地筛选其训练数据，以避免出现类似问题。

尽管在机器学习社区中借用他人的输出可能很常见，但这一事件对于OpenAI和xAI之间的竞争关系更是推波助澜。有关Grok可能从OpenAI那里借用的消息传播后，官方ChatGPT账户发表推文表示：“我们有很多共同之处”，并引用了Winterbourne的xAI帖子。作为回应，马斯克写道：“嗯，孩子，既然你从这个平台上抓取了所有数据用于训练，你应该知道。”