Nvidia는 PC에서 작동하고 ChatGPT와 유사한 기능 등을 제공하는 AI 챗봇인 Chat with RXT를 출시했습니다! 필요한 것은 Nvidia RTX GPU뿐입니다. 그러면 Nvidia의 새로운 AI 챗봇을 사용할 준비가 모두 완료되었습니다.

RTX를 통한 Nvidia Chat이란 무엇입니까?

Nvidia Chat with RTX는 컴퓨터에서 로컬로 LLM(대형 언어 모델)을 실행할 수 있게 해주는 AI 소프트웨어입니다. 따라서 ChatGPT와 같은 AI 챗봇을 사용하기 위해 온라인에 접속하는 대신, 원할 때 언제든지 오프라인에서 Chat with RTX를 사용할 수 있습니다.

Chat with RTX는 TensorRT-LLM, RTX 가속 및 양자화된 Mistral 7-B LLM을 사용하여 다른 온라인 AI 챗봇과 동등한 빠른 성능과 품질 응답을 제공합니다. 또한 검색 증강 생성(RAG) 기능을 제공하므로 챗봇이 파일을 읽고 제공한 데이터를 기반으로 맞춤형 답변을 제공할 수 있습니다. 이를 통해 챗봇을 사용자 정의하여 보다 개인적인 경험을 제공할 수 있습니다.

RTX로 Nvidia Chat을 사용해 보고 싶다면 컴퓨터에서 다운로드, 설치, 구성하는 방법을 참조하세요.

RTX로 채팅을 다운로드하고 설치하는 방법

Nvidia는 LLM을 컴퓨터에서 로컬로 실행하는 것을 훨씬 쉽게 만들었습니다. RTX로 Chat을 실행하려면 다른 소프트웨어와 마찬가지로 앱을 다운로드하고 설치하기만 하면 됩니다. 그러나 Chat with RTX에는 올바르게 설치하고 사용하기 위한 몇 가지 최소 사양 요구 사항이 있습니다.

RTX 30 시리즈 또는 40 시리즈 GPU 16GB RAM 100GB 여유 메모리 공간 Windows 11

PC가 최소 시스템 요구 사항을 충족하면 앱을 설치할 수 있습니다.

1단계: RTX ZIP 파일을 다운로드합니다.다운로드: RTX로 채팅(무료—35GB 다운로드)

2단계: 마우스 오른쪽 버튼을 클릭하고 7Zip과 같은 파일 보관 도구를 선택하여 ZIP 파일을 추출합니다. 또는 파일을 두 번 클릭하고 모두 추출을 선택합니다. 3단계: 추출된 폴더를 열고 setup.exe를 두 번 클릭합니다. 화면의 지시에 따라 사용자 정의 설치 프로세스가 진행되는 동안 모든 상자를 선택하십시오. 다음을 누르면 설치 프로그램이 LLM과 모든 종속성을 다운로드하여 설치합니다.

Chat with RTX 설치는 많은 양의 데이터를 다운로드하고 설치하므로 완료하는 데 시간이 좀 걸립니다. 설치 과정이 끝난 후 닫기를 누르면 완료됩니다. 이제 앱을 사용해 볼 차례입니다.

RTX와 함께 Nvidia Chat을 사용하는 방법

일반 온라인 AI 챗봇처럼 RTX와 함께 Chat을 사용할 수 있지만 RAG 기능을 확인하는 것이 좋습니다. 귀하가 액세스 권한을 부여한 파일에 대해.

1단계: RAG 폴더 생성

RTX 채팅에서 RAG 사용을 시작하려면 AI가 분석할 파일을 저장할 새 폴더를 생성하세요.

생성 후 데이터 파일을 폴더에 넣습니다. 저장하는 데이터에는 문서, PDF, 텍스트, 비디오 등 다양한 주제와 파일 형식이 포함될 수 있습니다. 그러나 성능에 영향을 주지 않도록 이 폴더에 저장하는 파일 수를 제한할 수 있습니다. 검색할 데이터가 많다는 것은 Chat with RTX가 특정 쿼리에 대한 응답을 반환하는 데 더 오랜 시간이 걸린다는 것을 의미합니다(그러나 이는 하드웨어에 따라 다름).

이제 데이터베이스가 준비되었습니다. RTX로 Chat을 설정하고 이를 사용하여 질문에 답할 수 있습니다.

2단계: 환경 설정

RTX로 채팅을 엽니다. 아래 이미지와 같아야 합니다.

데이터세트에서 폴더 경로 옵션이 선택되어 있는지 확인하세요. 이제 아래의 편집 아이콘(펜 아이콘)을 클릭하고 RTX 채팅을 통해 읽으려는 모든 파일이 포함된 폴더를 선택하세요. 다른 옵션을 사용할 수 있는 경우 AI 모델을 변경할 수도 있습니다(작성 ​​시점에는 Mistral 7B만 사용 가능).

이제 RTX로 Chat을 사용할 준비가 되었습니다.

3단계: RTX 채팅으로 질문하세요!

RTX로 Chat에 쿼리하는 방법에는 여러 가지가 있습니다. 첫 번째는 일반 AI 챗봇처럼 사용하는 것입니다. Chat with RTX에 현지 LLM 사용의 이점에 대해 문의했고 답변에 만족했습니다. 엄청나게 깊이 있는 것은 아니지만 충분히 정확했습니다.

그러나 Chat with RTX는 RAG가 가능하므로 개인 AI 비서로도 사용할 수 있습니다.

위에서는 Chat with RTX를 사용해 일정에 대해 물어봤습니다. 데이터는 내 일정, 캘린더, 이벤트, 작업 등이 포함된 PDF 파일에서 나왔습니다. 이 경우 Chat with RTX는 데이터에서 올바른 캘린더 데이터를 가져왔습니다. 다른 앱과 통합될 때까지 이와 같은 기능이 제대로 작동하려면 데이터 파일과 달력 날짜를 업데이트된 상태로 유지해야 합니다.

RTX의 RAG를 통해 Chat을 활용하는 방법에는 여러 가지가 있습니다. 예를 들어, 법률 문서를 읽고 요약을 제공하고, 개발 중인 프로그램과 관련된 코드를 생성하고, 너무 바빠서 볼 수 없는 비디오에 대한 강조 표시를 얻는 등의 작업에 사용할 수 있습니다!

4단계: 보너스 기능

로컬 데이터 폴더 외에도 Chat with RTX를 사용하여 YouTube 동영상을 분석할 수 있습니다. 이렇게 하려면 데이터세트에서 폴더 경로를 YouTube URL로 변경하세요.

분석하려는 YouTube URL을 복사하여 드롭다운 메뉴 아래에 붙여넣으세요. 그럼 물어보세요!

Chat with RTX의 유튜브 영상분석은 꽤 괜찮았고, 정확한 정보 전달이 있어서 조사나 빠른 분석 등에 유용할 수 있었습니다.

Nvidia와 RTX의 채팅이 좋은가요?

ChatGPT는 RAG 기능을 제공합니다. 일부 로컬 AI 챗봇은 시스템 요구 사항이 상당히 낮습니다. 그렇다면 Nvidia Chat with RTX를 사용할 가치가 있을까요?

대답은 '그렇다'입니다! RTX와의 채팅은 경쟁에도 불구하고 사용할 가치가 있습니다.

RTX와 함께 Nvidia Chat을 사용하는 가장 큰 장점 중 하나는 파일을 타사 서버로 보내지 않고도 RAG를 사용할 수 있다는 것입니다. 온라인 서비스를 통해 GPT를 맞춤설정하면 데이터가 노출될 수 있습니다. 그러나 Chat with RTX는 인터넷 연결 없이 로컬에서 실행되므로 Chat with RTX에서 RAG를 사용하면 민감한 데이터가 안전하고 PC에서만 액세스할 수 있습니다.

Mistral 7B를 실행하는 로컬에서 실행되는 다른 AI 챗봇과 마찬가지로 Chat with RTX의 성능이 더 좋고 빠릅니다. 성능 향상의 큰 부분은 고급 GPU 사용에서 비롯되지만, Nvidia TensorRT-LLM 및 RTX 가속을 사용하면 채팅에 최적화된 LLM을 실행하는 다른 방법과 비교할 때 RTX 채팅에서 Mistral 7B를 더 빠르게 실행할 수 있습니다.

현재 우리가 사용하고 있는 Chat with RTX 버전은 데모라는 점은 주목할 가치가 있습니다. Chat with RTX의 향후 릴리스는 더욱 최적화되어 성능이 향상될 가능성이 높습니다.

RTX 30 또는 40 시리즈 GPU가 없으면 어떻게 되나요?

Chat with RTX는 인터넷 연결 없이 로컬에서 LLM을 실행하는 쉽고 빠르며 안전한 방법입니다. LLM 또는 로컬 실행에도 관심이 있지만 RTX 30 또는 40 시리즈 GPU가 없는 경우 LLM을 로컬에서 실행하는 다른 방법을 시도해 볼 수 있습니다. 가장 인기 있는 것 중 두 가지는 GPT4ALL과 Text Gen WebUI입니다. LLM을 로컬에서 실행하는 플러그 앤 플레이 경험을 원한다면 GPT4ALL을 사용해 보세요. 그러나 좀 더 기술적으로 관심이 있다면 Text Gen WebUI를 통해 LLM을 실행하면 더 나은 미세 조정과 유연성을 얻을 수 있습니다.