Google Gemini 1.5 现在配备了一个巨大的 100 万个代币上下文窗口，使其在 ChatGPT、Claude 和其他 AI 聊天机器人中的直接竞争对手相形见绌。

这听起来像是一次大规模升级，可以让双子座与众不同。全面了解它的范围有点困难，但双子座巨大的上下文窗口可能会改变游戏规则。

什么是上下文窗口？

在回答您的查询时，例如解释概念或总结文本，AI 模型在生成响应时可以考虑的数据量是有限的。它可以考虑的文本大小的限制称为上下文窗口。

这是另一种看待它的方式。假设您去杂货店购买杂货，但没有杂货清单。您在购物时记住的杂货数量的限制是您的上下文窗口。您记住的杂货越多，不打乱您的购物计划的机会就越大。同样，人工智能模型的上下文窗口越大，模型记住为您提供最佳结果所需的一切的机会就越大。

在撰写本文时，Anthropic 的 Claude 2.1 的 200k 上下文窗口是任何通用 AI 模型中最大的上下文窗口。其次是具有 128k 上下文窗口的 GPT-4 Turbo。 Google Gemini 1.5 带来了 100 万个上下文窗口，是市场上任何产品的四倍。这就引出了一个大问题：一百万个令牌上下文窗口有什么大不了的？

为什么 Gemini 1.5 的上下文窗口很重要

从更清晰的角度来看，Claude AI 的 200k 上下文窗口意味着它可以消化一本大约 15 万字的书，并且提供答案。那是巨大的。但 Google 的 Gemini 1.5 一次就能消化 700,000 个单词！

当您将大文本块输入 ChatGPT 或 Gemini 等 AI 聊天机器人时，它会尝试消化尽可能多的文本，但它能消化多少取决于其上下文窗口。因此，如果您的对话在只能处理 28k 字的模型上进行了 100k 字，然后开始提出要求其完全了解整个 100k 字对话的问题，那么您将使其失败。

想象一下，一部一小时长的电影只看了 20 分钟，却被要求解释整部电影。你的结果会有多好？你要么拒绝回答，要么干脆编造一些东西，这正是人工智能聊天机器人会做的事情，导致人工智能幻觉。

现在，如果您认为您从未需要向聊天机器人输入 10 万个单词，那么这并不是全部考虑因素。上下文窗口超越了您在单个提示中向 AI 模型提供的文本。人工智能模型会考虑您在聊天会话期间进行的整个对话，以确保他们的响应尽可能相关。

因此，即使您没有给它提供一本 100k 单词的书，您的来回对话和它提供的回复都会添加到上下文窗口计算中。想知道为什么 ChatGPT 或 Google 的 Gemini 总是忘记你之前在对话中告诉它的事情？它可能耗尽了上下文窗口空间并开始忘记东西。

较大的上下文窗口对于需要深入理解上下文的任务尤其重要，例如总结长文章、回答复杂问题或在生成的文本中保持连贯的叙述。想要写一本 5 万字且叙事自始至终一致的小说吗？想要一个可以“观看”一小时视频文件并回答问题的模型吗？您需要更大的上下文窗口！

简而言之，Gemini 1.5 更大的上下文窗口可能会显着提高其 AI 模型的性能，减少幻觉，并显着提高准确性和更好地遵循指令的能力。

Gemini 1.5能否不负众望？

如果一切按计划进行，Gemini 1.5 可能会超越市场上最好的人工智能模型。然而，考虑到谷歌在构建稳定的人工智能模型方面多次失败，谨慎行事是很重要的。单独增加模型的上下文窗口并不会自动使模型变得更好。

自发布以来，我已经使用 Claude 2.1 的 200k 上下文窗口几个月了，有一点我很清楚——更大的上下文窗口确实可以提高上下文敏感性，但是核心模型性能的问题可能会导致更大的背景本身就是一个问题。

Google Gemini 1.5 会给我们带来游戏规则改变者吗？目前，社交媒体上充斥着抢先体验用户对 Gemini 1.5 的热烈评论。然而，大多数 5 星级评论都源于仓促或简化的用例。 Google 的 Gemini 1.5 技术报告 [PDF] 是检查 Gemini 1.5 在野外表现的好地方。该报告显示，即使在“受控测试”期间，该模型也无法在其上下文窗口的大小范围内很好地检索文档的所有微小细节。

100万个token上下文窗口确实是一项令人印象深刻的技术壮举，但是如果不能可靠地检索文档的详细信息，那么更大的上下文窗口没有什么实用价值，甚至可能成为下降的原因准确性和幻觉。