Google Gemini 1.5는 이제 막대한 백만 개의 토큰 컨텍스트 창을 제공하여 ChatGPT, Claude 및 기타 AI 챗봇의 직접적인 경쟁을 압도합니다.

대규모 업그레이드처럼 들리며 Gemini를 차별화할 수 있습니다. 전체 범위를 파악하기는 조금 어렵지만 Gemini의 엄청난 컨텍스트 창은 게임 체인저가 될 수 있습니다.

컨텍스트 창이란 무엇입니까?

개념 설명이나 텍스트 요약과 같은 쿼리에 응답하는 동안 AI 모델은 응답을 생성하기 위해 고려할 수 있는 데이터의 양에 제한이 있습니다. 고려할 수 있는 텍스트 크기 제한을 컨텍스트 창이라고 합니다.

이를 보는 또 다른 방법이 있습니다. 식료품 목록 없이 식료품을 사러 식료품점에 갔다고 가정해 보겠습니다. 쇼핑할 때 기억하는 식료품 수에 대한 제한은 컨텍스트 창입니다. 기억할 수 있는 식료품이 많을수록 쇼핑 계획을 망치지 않을 확률이 높아집니다. 마찬가지로 AI 모델의 컨텍스트 창이 클수록 모델이 최상의 결과를 제공하는 데 필요한 모든 것을 기억할 가능성이 높아집니다.

이 글을 쓰는 시점에서 Anthropic의 Claude 2.1의 200k 컨텍스트 창은 일반적으로 사용 가능한 AI 모델 중 가장 큰 컨텍스트 창입니다. 그 다음에는 128k 컨텍스트 창이 있는 GPT-4 Turbo가 있습니다. Google Gemini 1.5는 시장의 어떤 제품보다 4배 더 큰 100만 개의 컨텍스트 창을 제공합니다. 이는 큰 질문으로 이어집니다. 100만 개의 토큰 컨텍스트 창의 큰 문제는 무엇입니까?

Gemini 1.5의 컨텍스트 창이 큰 이유

좀 더 명확하게 말하면 Claude AI의 200k 컨텍스트 창은 약 150,000 단어로 구성된 책을 소화할 수 있고 그것에 대한 답변을 제공하십시오. 그것은 엄청납니다. 하지만 구글의 Gemini 1.5는 한 번에 70만 단어를 소화할 수 있을 것입니다!

ChatGPT 또는 Gemini와 같은 AI 챗봇에 큰 텍스트 블록을 공급하면 가능한 많은 텍스트를 소화하려고 시도하지만 소화할 수 있는 양은 컨텍스트 창에 따라 다릅니다. 따라서 28,000개 단어만 처리할 수 있는 모델에서 100,000개 단어에 달하는 대화가 있고 100,000개 단어 상당의 전체 대화에 대한 완전한 지식이 필요한 질문을 시작하면 실패하도록 설정하는 것입니다.

1시간짜리 영화를 20분만 보고 영화 전체에 대해 설명하라는 요청을 받는다고 상상해 보세요. 결과가 얼마나 좋을까요? 답변을 거부하거나 단순히 꾸며내는 일이 바로 AI 챗봇이 하는 일이므로 AI 환각으로 이어집니다.

이제 챗봇에 10만 단어를 입력할 필요가 없었다고 생각하신다면 그게 전부는 아닙니다. 컨텍스트 창은 단일 프롬프트에서 AI 모델에 제공하는 텍스트를 초월합니다. AI 모델은 채팅 세션 중에 진행된 전체 대화를 고려하여 응답이 최대한 관련성이 있는지 확인합니다.

따라서 100,000 단어장을 제공하지 않더라도 앞뒤 대화와 제공되는 답변은 모두 컨텍스트 창 계산에 추가됩니다. ChatGPT 또는 Google의 Gemini가 대화에서 이전에 말한 내용을 왜 계속 잊어버리는지 궁금하십니까? 컨텍스트 창 공간이 부족하여 내용을 잊어버리기 시작한 것 같습니다.

더 큰 컨텍스트 창은 긴 기사 요약, 복잡한 질문에 대한 답변 또는 생성된 텍스트에서 일관된 내러티브 유지와 같이 컨텍스트에 대한 깊은 이해가 필요한 작업에 특히 중요합니다. 전체적으로 일관된 내러티브가 있는 5만 단어 소설을 쓰고 싶으십니까? 1시간짜리 비디오 파일을 "보고" 질문에 답할 수 있는 모델을 원하십니까? 더 큰 컨텍스트 창이 필요합니다!

즉, Gemini 1.5의 더 큰 상황 창은 AI 모델의 성능을 크게 향상시켜 환각을 줄이고 정확성과 지침을 더 잘 따르는 능력을 크게 향상시킬 수 있습니다.

Gemini 1.5가 기대에 부응할까요?

모든 것이 계획대로 진행된다면 Gemini 1.5는 잠재적으로 시장 최고의 AI 모델보다 성능이 뛰어날 수 있습니다. 그러나 Google이 안정적인 AI 모델을 구축하는 데 많은 실패를 겪었다는 점을 고려하면 실수를 조심하는 것이 중요합니다. 모델의 컨텍스트 창을 켜는 것만으로는 모델이 자동으로 더 좋아지는 것은 아닙니다.

나는 Claude 2.1이 출시된 이후 몇 달 동안 200k 컨텍스트 창을 사용해 왔으며 한 가지 분명한 사실은 더 큰 컨텍스트 창이 실제로 컨텍스트 민감도를 향상시킬 수 있지만 핵심 모델 성능에 문제가 있을 수 있다는 것입니다. 더 큰 맥락은 그 자체의 문제입니다.

Google Gemini 1.5가 우리에게 획기적인 변화를 가져올까요? 현재 소셜 미디어는 초기 액세스 사용자들의 Gemini 1.5에 대한 찬사를 받는 리뷰로 가득 차 있습니다. 그러나 대부분의 별 5개 리뷰는 성급하거나 단순화된 사용 사례에서 비롯됩니다. Gemini 1.5가 실제 환경에서 어떻게 작동하는지 확인할 수 있는 좋은 곳은 Google의 Gemini 1.5 기술 보고서[PDF]입니다. 보고서에 따르면 "통제된 테스트" 중에도 모델은 컨텍스트 창 크기 내에서 문서의 작은 세부 정보를 모두 검색할 수 없었습니다.

100만 개의 토큰 컨텍스트 창은 실제로 인상적인 기술적 위업이지만 문서의 세부 정보를 안정적으로 검색할 수 없으면 더 큰 컨텍스트 창은 실질적인 가치가 거의 없으며 심지어 감소의 원인이 될 수도 있습니다. 정확성과 환각.