의학 영역에서는 환자 치료를 강화하고 연구 방법론을 개선하기 위해 첨단 기술을 통합하는 것이 필수적입니다. RAG(검색 증강 생성)는 LLM(대형 언어 모델)의 기능과 외부 지식 검색을 결합한 이러한 선구적인 혁신 중 하나입니다. RAG 시스템은 데이터베이스, 과학 문헌 및 환자 기록에서 관련 정보를 가져와 보다 정확하고 상황에 맞게 풍부한 응답 기반을 ​​제공하여 순수 LLM에서 흔히 볼 수 있는 오래된 정보 및 환각과 같은 제한 사항을 해결합니다.

이 개요에서는 신약 발견 및 임상 시험과 같은 애플리케이션을 변화시킬 수 있는 잠재력에 중점을 두고 의료 분야에서 RAG의 성장하는 역할을 살펴보겠습니다. 또한 PubMed Central의 환자 보고서 모음인 MACCROBAT 데이터 세트와 함께 NVIDIA의 LangChain 엔드포인트 및 Ragas 프레임워크와 같은 의료용 RAG 시스템의 고유한 요구 사항을 평가하는 데 필요한 방법과 도구에 대해 자세히 알아봅니다.

의료 RAG의 주요 과제

1. 확장성: 의료 데이터가 CAGR 35% 이상 증가함에 따라 RAG 시스템은 특히 시기적절한 통찰력이 환자 치료에 영향을 줄 수 있는 시나리오에서 속도 저하 없이 정보를 효율적으로 관리하고 검색해야 합니다.

2. 전문 언어 및 지식 요구 사항: 의료 용어집 및 콘텐츠가 금융이나 법률과 같은 다른 영역과 크게 다르기 때문에 의료 RAG 시스템에는 영역별 조정이 필요합니다.

3. 맞춤형 평가 지표의 부재: 범용 RAG 애플리케이션과 달리 의료용 RAG에는 적합한 벤치마크가 부족합니다. BLEU 또는 ROUGE와 같은 기존 측정항목은 의료 상황에서 중요한 사실적 정확성보다는 텍스트 유사성을 강조합니다.

4. 구성 요소별 평가: 효과적인 평가를 위해서는 검색 구성 요소와 생성 구성 요소 모두에 대한 독립적인 조사가 필요합니다. 검색은 관련성 있는 최신 데이터를 가져와야 하며 생성 구성 요소는 검색된 콘텐츠에 대한 충실성을 보장해야 합니다.

RAG 평가를 위한 Ragas 소개

오픈 소스 평가 프레임워크인 Ragas는 RAG 파이프라인 평가를 위한 자동화된 접근 방식을 제공합니다. 툴킷은 문맥 관련성, 회상, 충실성 및 답변 관련성에 중점을 둡니다. Ragas는 판사로서 LLM 모델을 활용하여 수동으로 주석을 추가한 데이터의 필요성을 최소화하여 프로세스를 효율적이고 비용 효율적으로 만듭니다.

RAG 시스템 평가 전략

강력한 RAG 평가를 위해 다음 단계를 고려하세요.

1. 합성 데이터 생성: 벡터 저장소 문서를 기반으로 삼중 데이터(질문, 답변, 컨텍스트)를 생성하여 합성 테스트 데이터를 생성합니다.
2. 측정항목 기반 평가: 생성된 합성 데이터에 대한 응답을 정답과 비교하여 정밀도 및 재현율과 같은 측정항목에 대해 RAG 시스템을 평가합니다.
3. 독립 구성요소 평가: 각 질문에 대해 검색 컨텍스트 관련성과 세대의 답변 정확성을 평가합니다.

파이프라인의 예는 다음과 같습니다. "울혈성 심부전의 일반적인 혈압 측정값은 무엇입니까?"와 같은 질문이 있을 경우 시스템은 먼저 관련 컨텍스트를 검색한 다음 응답이 질문을 정확하게 해결하는지 평가합니다.

NVIDIA API 및 LangChain을 사용하여 RAG 설정

계속 진행하려면 NVIDIA 계정을 생성하고 API 키를 받으세요. 다음을 사용하여 필요한 패키지를 설치하십시오:

pip install langchain
pip install langchain_nvidia_ai_endpoints
pip install ragas

LangChain을 통해 로드하고 처리할 수 있는 포괄적인 의료 기록을 제공하는 MACCROBAT 데이터세트를 다운로드하세요.

from langchain_community.document_loaders import HuggingFaceDatasetLoader
from datasets import load_dataset

dataset_name = "singh-aditya/MACCROBAT_biomedical_ner"
page_content_column = "full_text"

loader = HuggingFaceDatasetLoader(dataset_name, page_content_column)
dataset = loader.load()

NVIDIA 엔드포인트와 LangChain을 사용하여 이제 강력한 테스트 세트 생성기를 구축하고 데이터 세트를 기반으로 합성 데이터를 생성할 수 있습니다.

from ragas.testset.generator import TestsetGenerator
from langchain_nvidia_ai_endpoints import ChatNVIDIA, NVIDIAEmbeddings

critic_llm = ChatNVIDIA(model="meta/llama3.1-8b-instruct")
generator_llm = ChatNVIDIA(model="mistralai/mixtral-8x7b-instruct-v0.1")
embeddings = NVIDIAEmbeddings(model="nv-embedqa-e5-v5", truncate="END")

generator = TestsetGenerator.from_langchain(
    generator_llm, critic_llm, embeddings, chunk_size=512
)
testset = generator.generate_with_langchain_docs(dataset, test_size=10)

파이프라인 배포 및 평가

실제 의료 보고서에서 샘플 질문을 생성하여 벡터 저장소에 RAG 시스템을 배포합니다.

# Sample questions
["What are typical BP measurements in the case of congestive heart failure?",
 "What can scans reveal in patients with severe acute pain?",
 "Is surgical intervention necessary for liver metastasis?"]

각 질문은 검색된 컨텍스트 및 생성된 정답과 연결되며, 이는 검색 및 생성 구성 요소의 성능을 평가하는 데 사용될 수 있습니다.

Ragas를 사용한 사용자 정의 측정항목

의료용 RAG 시스템은 검색 정밀도를 평가하기 위해 맞춤 측정항목이 필요할 수 있습니다. 예를 들어 측정항목은 검색된 문서가 검색어와 충분히 관련성이 있는지 판단할 수 있습니다.

from dataclasses import dataclass, field
from ragas.evaluation.metrics import MetricWithLLM, Prompt

RETRIEVAL_PRECISION = Prompt(
    name="retrieval_precision",
    instruction="Is this result relevant enough for the first page of search results? Answer '1' for yes and '0' for no.",
    input_keys=["question", "context"]
)

@dataclass
class RetrievalPrecision(MetricWithLLM):
    name: str = "retrieval_precision"
    evaluation_mode = EvaluationMode.qc
    context_relevancy_prompt: Prompt = field(default_factory=lambda: RETRIEVAL_PRECISION)

# Use this custom metric in evaluation
score = evaluate(dataset["eval"], metrics=[RetrievalPrecision()])

정확성과 신뢰성을 위한 구조화된 출력

효율적이고 안정적인 평가를 위해 구조화된 출력은 처리를 단순화합니다. NVIDIA의 LangChain 엔드포인트를 사용하여 LLM 응답을 사전 정의된 범주(예: 예/아니요)로 구성하세요.

import enum

class Choices(enum.Enum):
    Y = "Y"
    N = "N"

structured_llm = nvidia_llm.with_structured_output(Choices)
structured_llm.invoke("Is this search result relevant to the query?")

결론

RAG는 의료, 다국어 및 코드 생성 도메인 전반에 걸쳐 매우 효율적이고 확장 가능한 애플리케이션을 위해 LLM과 고밀도 벡터 검색을 연결합니다. 의료 분야에서는 정확하고 상황에 맞는 응답을 제공할 수 있는 잠재력이 분명하지만 평가에서는 정확성, 영역 특이성 및 비용 효율성을 우선시해야 합니다.

합성 테스트 데이터, NVIDIA 엔드포인트, Ragas를 사용하는 개략적인 평가 파이프라인은 이러한 요구 사항을 충족할 수 있는 강력한 방법을 제공합니다. 더 자세히 알아보려면 GitHub에서 Ragas 및 NVIDIA Generative AI 예제를 살펴보세요.