Google Gemini 1.5 теперь поставляется с огромным контекстным окном в один миллион токенов, что затмевает его прямую конкуренцию в ChatGPT, Claude и других чат-ботах с искусственным интеллектом.

Звучит как масштабное обновление, которое может выделить Gemini среди конкурентов. Немного сложно в полной мере осознать его масштабы, но огромное контекстное окно Gemini может изменить правила игры.

Что такое контекстное окно?

При ответе на ваши запросы, например при объяснении концепции или кратком изложении текста, модели ИИ имеют ограничение на объем данных, которые они могут учитывать для генерации ответа. Ограничение на размер текста, которое он может учитывать, называется контекстным окном.

Вот еще один взгляд на это. Допустим, вы идете в продуктовый магазин за продуктами, не имея списка покупок. Ограничение на количество продуктов, которые вы запоминаете при совершении покупок, — это ваше контекстное окно. Чем больше продуктов вы сможете запомнить, тем выше шансы не испортить планы покупок. Аналогичным образом, чем больше контекстное окно модели ИИ, тем выше вероятность того, что модель запомнит все, что ей нужно, чтобы предоставить вам наилучшие результаты.

На момент написания 200-тысячное контекстное окно Anthropic Claude 2.1 является самым большим контекстным окном среди всех общедоступных моделей искусственного интеллекта. Далее следует GPT-4 Turbo с контекстным окном 128 КБ. Google Gemini 1.5 предлагает миллион контекстных окон, что в четыре раза больше, чем что-либо на рынке. Это приводит к большому вопросу: что такого страшного в контекстном окне в миллион токенов?

Почему контекстное окно Gemini 1.5 так важно?

Чтобы представить это более ясно, контекстное окно Claude AI на 200 тысяч слов означает, что он может переварить книгу, содержащую около 150 000 слов, и дать на него ответы. Это грандиозно. Но Gemini 1.5 от Google сможет переварить 700 000 слов за раз!

Когда вы передаете большой текстовый блок в чат-боты с искусственным интеллектом, такие как ChatGPT или Gemini, он пытается переварить как можно больше текста, но то, сколько он может переварить, зависит от его контекстного окна. Итак, если у вас есть разговор, объем которого составляет 100 тысяч слов, на модели, которая может обрабатывать только 28 тысяч слов, а затем вы начинаете задавать вопросы, требующие от нее полного знания всех 100 тысяч слов разговора, вы настраиваете его на провал.

Представьте себе, что вы смотрите всего 20 минут часового фильма, но вас просят объяснить весь фильм. Насколько хорошими будут ваши результаты? Вы либо отказываетесь отвечать, либо просто выдумываете всякую ерунду, что и сделал бы чат-бот с искусственным интеллектом, что приводит к галлюцинациям искусственного интеллекта.

Итак, если вы думаете, что вам никогда не приходилось вводить 100 тысяч слов в чат-бот, это еще не все. Контекстное окно выходит за рамки просто текста, который вы передаете модели ИИ в одном приглашении. Модели искусственного интеллекта учитывают весь ваш разговор во время сеанса чата, чтобы обеспечить максимально релевантные ответы.

Итак, даже если вы не передаете ему книгу на 100 тысяч слов, ваши двусторонние разговоры и ответы, которые он предоставляет, - все это добавляется к вычислению контекстного окна. Хотите знать, почему ChatGPT или Gemini от Google постоянно забывают то, что вы сказали им ранее в разговоре? Вероятно, ему не хватило места в контекстном окне, и он начал что-то забывать.

Большее контекстное окно особенно важно для задач, требующих глубокого понимания контекста, таких как подведение итогов длинных статей, ответы на сложные вопросы или поддержание связного повествования в сгенерированном тексте. Хотите написать роман из 50 тысяч слов, в котором будет последовательное повествование? Хотите модель, которая сможет «смотреть» часовой видеофайл и отвечать на вопросы? Вам нужно контекстное окно большего размера!

Короче говоря, большее контекстное окно Gemini 1.5 может значительно улучшить производительность модели искусственного интеллекта, уменьшив галлюцинации и значительно повысив точность и способность лучше следовать инструкциям.

Оправдает ли Gemini 1.5 ожидания?

Если все пойдет по плану, Gemini 1.5 потенциально может превзойти лучшие модели искусственного интеллекта на рынке. Однако, учитывая многочисленные неудачи Google в создании стабильной модели искусственного интеллекта, важно проявить осторожность. Увеличение контекстного окна модели само по себе не делает модель лучше автоматически.

Я использовал контекстное окно размером 200 тысяч в Claude 2.1 в течение нескольких месяцев с момента его выпуска, и мне ясно одно: контекстное окно большего размера действительно может улучшить чувствительность к контексту, но проблемы с производительностью базовой модели могут более широкий контекст — это отдельная проблема.

Сможет ли Google Gemini 1.5 изменить правила игры? Социальные сети в настоящее время заполнены восторженными отзывами о Gemini 1.5 от пользователей раннего доступа. Однако большинство пятизвездочных обзоров основаны на поспешных или упрощенных сценариях использования. Хорошее место, чтобы проверить, как Gemini 1.5 будет работать в реальных условиях, — это технический отчет Google Gemini 1.5 [PDF]. Отчет показывает, что даже во время «контролируемого тестирования» модель не могла получить все мельчайшие детали документов в пределах размера своего контекстного окна.

Контекстное окно в один миллион токенов действительно является впечатляющим техническим достижением, но без возможности надежного получения деталей документа более крупное контекстное окно не имеет практической ценности и может даже стать причиной упадка точность и галлюцинации.