인터넷에서 GPT/AI 챗봇에 액세스하는 것보다 자신의 컴퓨터에서 GPT/AI 챗봇을 실행하면 여러 가지 이점이 있습니다. 원하는 이유와 Windows에서 설정하는 가장 쉬운 방법을 보여 드리겠습니다.

나만의 로컬 AI 챗봇을 원하는 이유는 무엇입니까?

ChatGPT와 같은 온라인 AI 챗봇이 지배적이며 엄청난 양의 교육 데이터와 최신 정보에 액세스할 수 있지만 Windows 컴퓨터에서 자체 로컬 챗봇을 실행하려는 몇 가지 이유가 있습니다.

자체 AI 도구를 로컬에서 실행하는 것은 무료이며 온라인 도구의 제한이 없습니다. 검열이 없으며 모든 기계 학습 모델을 로드하고 반응과 동작을 맞춤화하며 모든 프롬프트를 제공할 수 있습니다. 제한 없이 (그리고 완전한 프라이버시를 보장합니다) 특히 AI 또는 기술 산업에 진출하려는 경우 최신 LLM(대형 언어 모델) AI 도구가 내부적으로 어떻게 작동하는지 이해하는 좋은 방법이기도 합니다.

가상의 캐릭터 상호작용부터 프로그래밍, 일반 지식, 그리고 일반적인 온라인 모델이 다루지 못하는 기타 다양한 사용 사례에 이르기까지 거의 모든 것에 대한 모델을 찾을 수 있습니다.

Windows에서 자신만의 로컬 GPT 챗봇을 호스팅하는 방법

이 튜토리얼에서는 설치 및 설치를 단순화하는 대규모 언어 모델을 위한 오픈 소스 인터페이스인 text- Generation-web-ui-docker를 사용합니다. LLM을 사용합니다.

text- Generation-web-ui-docker는 Docker를 사용하여 text- Generation-web-ui 프로젝트를 번들로 묶습니다. 이를 통해 로컬 AI 도구에 일반적으로 필요한 모든 복잡한 종속성을 설치하고 관리할 필요가 없습니다. 시스템과 별도의 컨테이너입니다. 로컬 챗봇을 실행하는 데 필요한 유일한 것은 Linux용 Windows 하위 시스템(WSL)을 사용하여 실행되는 Docker를 지원하는 Windows PC입니다. 또한 호환성을 최대화하려면 최신 GPU(이상적으로는 NVIDIA의 GPU)가 필요합니다.

1단계: Docker 및 Windows 터미널 앱 설치

Docker 컨테이너는 전체 실행 시스템을 포함한다는 점에서 가상 머신과 유사하지만 훨씬 더 가볍고 애플리케이션 배포에 적합합니다. 모든 요구 사항을 설치하기 쉬운 단일 번들로 제공합니다. Docker에서 text- Generation-web-ui-docker를 실행하려면 Windows 시스템에 Docker를 다운로드하여 설치하세요.

Docker는 WSL 또는 Hyper-V 모드의 두 가지 방법 중 하나로 Windows에서 실행될 수 있습니다. WSL은 대부분의 사용자에게 권장되므로 Docker를 설치하기 전에 WSL을 활성화해야 할 수도 있습니다.

또한 WSL, PowerShell 및 Windows 명령줄에 편리한 인터페이스를 제공하는 Windows 터미널 앱을 설치하는 것이 좋습니다.

2단계: 텍스트 생성 웹 UI GitHub 리포지토리 다운로드

text-generation-web-ui-docker를 다운로드하려면 해당 GitHub 페이지를 방문하세요. 녹색 "코드" 버튼을 클릭한 후 드롭다운 메뉴에서 "Zip 다운로드"를 클릭하면 필요한 모든 파일이 포함된 ".zip" 파일을 다운로드할 수 있습니다.

아래 스크린샷은 GitHub 페이지에서 이를 찾을 수 있는 위치를 보여줍니다.

다운로드한 ZIP 파일을 자체 폴더에 추출한 다음 압축이 풀린 파일이 포함된 폴더를 엽니다. 이 폴더의 내용에 대해 너무 많이 걱정하지 마십시오. AI 챗봇의 모든 움직이는 부분이지만 Docker가 모든 설정을 처리합니다.

3단계: 텍스트 생성 웹 UI 시작

text-generation-web-ui-docker를 시작하기 전에 PC 하드웨어에 맞게 구성되었는지 확인해야 합니다. docker-compose.yml 파일을 편집하여 하드웨어와 일치하는 변형인 default-nvidia 또는 default-cpu(호환 가능한 GPU가 없는 경우)를 지정합니다.

그런 다음 다운로드하고 추출한 파일이 포함된 폴더에서 빈 공간을 마우스 오른쪽 버튼으로 클릭하고 "터미널에서 열기"를 클릭하여 새 폴더에서 디렉터리를 엽니다. 파워셸 창.

터미널 창에 다음 Docker 명령을 입력하기 전에 Docker Desktop이 실행되고 있는지 확인하세요.

docker compose up -d

이 명령은 다음을 수행합니다.

• Docker 애플리케이션을 관리하는 프로그램인 docker compose를 실행합니다.
• up 명령을 사용하여 컨테이너를 시작합니다.
• 백그라운드에서 컨테이너를 실행합니다(-d로 지정되는 분리 모드라고 함). Brad Morton / How-To Geek

  이전에 이 명령을 실행한 적이 없고 애플리케이션을 다운로드해야 하는 경우 (당겨서) 시간이 좀 걸릴 수 있으니 가서 차 한 잔을 끓여야 할 수도 있습니다. 명령 실행이 성공적으로 완료되면 text- Generation-web-ui-docker Docker 컨테이너가 생성되고 시작된 것을 확인할 수 있습니다.

  Brad Morton / How-To Geek

  실행 중인 컨테이너는 Docker Desktop에도 표시되며 여기서 중지, 시작 및 관리할 수 있습니다.

  Brad Morton / How-To Geek

  4단계: OpenAI에서 GPT-2 모델 설치

  text- Generation-web-ui-docker가 Docker에서 실행되고 나면, 브라우저의 주소 표시줄에 http://localhost:7860 주소를 입력하여 액세스할 수 있습니다. Localhost는 컴퓨터가 실행 중인 서비스에 액세스하기 위해 사용하는 주소이며, 각 주소에는 고유한 포트 번호(이 경우 7860)가 할당됩니다. Docker 데스크톱에서 실행 중인 Docker 컨테이너가 localhost에서 사용 가능한 포트를 열면 확인할 수 있습니다.

  인터넷에서 ChatGPT를 사용할 때 사용하는 것보다 이전 버전의 GPT입니다. 결과적으로 기대만큼 스마트하거나 직관적이지는 않지만 사용자 정의가 가능하고 비공개입니다.

  웹 인터페이스에서 모델 탭으로 이동하여 "모델 또는 LoRA 다운로드" 상자에 openai-community/gpt2를 입력한 후 다운로드 버튼을 클릭하세요. 이 작업은 몇 분 정도 걸릴 수 있습니다.

  Brad Morton / How-To Geek

  왼쪽 상단에서 새로 고침 아이콘을 클릭한 다음 옆 모델 드롭다운 메뉴에서 새로 다운로드한 openai-community/gpt2를 선택합니다. 마지막으로 "로드" 버튼을 클릭하고 성공 메시지가 나타날 때까지 몇 분 정도 기다립니다.

  Brad Morton / How-To Geek

  이 모델은 기본적으로 작동하며 가입이 필요하지 않습니다. AI에 입문하고 다양한 모델과 AI 도구를 실험하고 싶다면 HuggingFace에서 더 많은 정보를 찾을 수 있습니다.

  5단계: 맞춤형 GPT AI 챗봇 사용 시작

  이것은 온라인에서 사용하던 AI 챗봇과는 상당히 다릅니다. 이 챗봇은 다음과 같은 일반적인 용도로 이미 설정되어 있습니다. 상황이 많습니다. 모델과 상호작용하기 전에 어떻게 행동할지 알려주어야 합니다. 그렇지 않으면 모델의 출력이 약간... 불안정해질 것입니다.

  Brad Morton / How-To Geek

  후훗, 정답은 나왔지만 이 AI 챗봇은 약간의 미세 조정이 필요합니다.

  많은 부분을 조정할 수 있고 처음에는 다소 투박할 수 있지만 연습과 경험을 통해 자신의 용도에 맞는 챗봇을 구축할 수 있고 데이터를 자신의 컴퓨터에 100% 보관할 수 있습니다. 비즈니스 및 기타 기밀 사용 사례의 경우. 로컬 GPT 챗봇을 구성하고 교육하는 방법을 알아보려면 text- Generation-web-ui 문서와 HuggingFace의 OpenAI GP2 문서를 확인하세요.

  Windows PC에서 AI를 사용하여 이미지를 생성하려는 경우 Fooocus를 사용하면 보다 쉽고 즉각적인 결과를 얻을 수 있습니다.