Meta Platforms 在加利福尼亚州举行的年度 Meta Connect 活动中 提交 其流行应用程序的几个新的人工智能功能 Facebook, Instagram 和 WhatsApp，但这家科技巨头最令人印象深刻的创新可能没有被很多人注意到。 我们谈论的是 Llama 2 Long AI 模型。
Meta 公司的一组研究人员以某种方式悄悄发表了一篇文章，其中他们提出了一种新的人工智能模型 Llama 2 Long，能够为长时间的用户查询生成连贯且相关的答案。 他们说，最多它的表现优于业内一些最好的竞争对手。
Llama 2 Long 是一个扩展 骆驼2是今年夏天发布的开源人工智能模型 Meta，它可以从各种数据源中学习并执行各种任务，如编码、数学、语言理解等。 然而，Llama 2 Long 接受了包含更长文本的更多数据的训练，并且该算法经过修改以处理更长的信息序列。 这使得它的性能优于 OpenAI 的 GPT-3.5 Turbo 和 Claude 2，后者对可用于生成响应的上下文量有限制。
研究人员 元 使用了 Llama 2 的不同版本 - 从 7 亿到 70 亿个参数，即 AI 模型可以通过从数据中学习来改变的值。 他们添加了另外 400 亿个数据标记（文本单位），其中包含比原始模型数据集更长的文本。 他们还使用旋转位置嵌入（RoPE）技术稍微调整了 AI 模型的架构，以便该模型可以使用比其他方法更少的信息和内存生成准确且有用的答案。
该团队使用人类反馈强化学习（RLHF），这是一种人工智能模型因正确答案而获得奖励并由人类评分者纠正的方法，合成数据由 Llama 2 聊天本身生成，以提高其在各种任务中的表现。
该论文声称，该模型可以对长达 200 个字符的用户提示生成高质量的响应，相当于大约 40 页的文本。 研究人员表示，Llama 2 Long 是朝着创建更通用、更通用的 AI 模型迈出的一步，可以满足用户复杂多样的需求。 他们还认识到此类模型的潜在伦理和社会影响，并呼吁就如何负责任和有益地使用它们进行进一步的研究和对话。
另请阅读：