소개

RAG(Retrieval-Augmented Generation) 애플리케이션으로 재미있는 프로젝트를 구축할 때 탐색 제한과 같은 제한에 직면하는 경우가 많으며, 이로 인해 날씨 업데이트와 같은 최신 정보나 현재 데이터를 얻기가 어렵습니다(좀 더 재미있는 것이길 바랍니다). 이 문제를 해결하기 위해 RAG 애플리케이션에 인터넷 검색 도구를 장착할 수 있습니다. 뛰어들어 보세요!

 우리의 도구 벤치

• LangChain(대규모 언어 모델을 사용하여 애플리케이션을 구축하기 위한 프레임워크)
• SearXNG(무료 메타 검색 엔진)
• CPython(C 언어 래퍼 :> )
• 도커(멋진 빵을 들고 있는 남자)

설정

먼저 SearXNG 설치부터 시작합니다.

1 -) SearXNG-docker 가져오기

git 클론 https://github.com/searxng/searxng-docker.git

2 -) .env 파일을 편집하여 호스트 이름과 이메일을 설정합니다.

3 -) 비밀 키 생성

sed -i "s|ultrasecretkey|$(openssl rand -hex 32)|g" searxng/settings.yml


sed -i"" -e "s|ultrasecretkey|$(openssl rand -hex 32)|g" searxng/settings.yml 


$randomBytes = New-Object byte[] 32
(New-Object Security.Cryptography.RNGCryptoServiceProvider).GetBytes($randomBytes)
$secretKey = -join ($randomBytes | ForEach-Object { "{0:x2}" -f $_ })
(Get-Content searxng/settings.yml) -replace 'ultrasecretkey', $secretKey | Set-Content searxng/settings.yml

4 -) searxng/settings.yml을 업데이트하여 사용 가능한 검색 형식을 활성화하고 LangChain 인스턴스에 대한 제한기를 비활성화합니다.

use_default_settings: true
server:
  # base_url is defined in the SEARXNG_BASE_URL environment variable, see .env and docker-compose.yml
  secret_key: ""  # change this!
  limiter: false
  image_proxy: true
ui:
  static_use_hash: true
redis:
  url: redis://redis:6379/0

search:
    formats:
        - html
        - json

5-) SearXNG 인스턴스 실행

도커 작성

Docker에서 SearXNG 배포를 확인하세요. 모든 것이 좋아 보인다면 계속할 준비가 된 것입니다.

 데모 애플리케이션

1 -) 가상 환경 생성 및 활성화

python3 -m venv .venv
source .venv/bin/activate

2 -) 랭체인 설치

pip install langchain langchain-community

3 -) main.py 생성

## Simple Get Results
from langchain_community.utilities import SearxSearchWrapper
import pprint

s = SearxSearchWrapper(searx_host="http://localhost:8080",)
result = s.results("What is RAG?", num_results=10, engines=["google"])
pprint.pprint(result)

## Github Tool

from langchain_community.tools.searx_search.tool import SearxSearchResults

wrapper = SearxSearchWrapper(searx_host="**")
github_tool = SearxSearchResults(name="Github", wrapper=wrapper,
                            kwargs = {
                                "engines": ["github"],
                                })

그리고 거기에 있어요! 이제 RAG 애플리케이션에 검색 기능이 있습니다. 이 가이드에서는 새로운 내용을 소개하지 않지만 RAG 애플리케이션에 웹 검색 기능을 추가하는 단계를 통합하는 것을 목표로 합니다. 도움이 되었기를 바랍니다!