생성 AI 애플리케이션을 구축하는 데 도움이 되는 놀라운 도구가 많이 있습니다. 하지만 새로운 도구를 시작하는 데에는 배우고 연습하는 데 시간이 걸립니다.

이러한 이유로 저는 생성적 AI 애플리케이션 구축을 위한 인기 있는 오픈 소스 프레임워크의 예가 포함된 저장소를 만들었습니다.

예제는 Amazon Bedrock에서 이러한 프레임워크를 사용하는 방법도 보여줍니다.

여기에서 저장소를 찾을 수 있습니다:

https://github.com/danilop/oss-for-generative-ai

이 글의 나머지 부분에서는 제가 선택한 프레임워크, 저장소의 샘플 코드에 무엇이 있는지, 실제로 어떻게 사용할 수 있는지 설명하겠습니다.

프레임워크 포함

• LangChain: 언어 모델로 구동되는 애플리케이션 개발을 위한 프레임워크로, 다음의 예가 포함됩니다:

  • 기본 모델 호출
  • 메시지 연결
  • API 구축
  • 클라이언트 생성
  • 챗봇 구현
  • Bedrock 에이전트 사용

• LangGraph: 대규모 언어 모델(LLM)을 사용하여 상태 저장 다중 행위자 애플리케이션을 구축하기 위한 LangChain의 확장

• Haystack: 검색 시스템 및 언어 모델 애플리케이션 구축을 위한 엔드투엔드 프레임워크

• LlamaIndex: LLM 기반 애플리케이션을 위한 데이터 프레임워크로 다음의 예가 포함됩니다.

  • RAG(검색 증강 생성)
  • 에이전트 구축

• DSPy: 대규모 언어 모델을 사용하여 AI 작업을 해결하기 위한 프레임워크

• RAGAS: RAG(검색 증강 생성) 파이프라인을 평가하기 위한 프레임워크

• LiteLLM: 다양한 제공업체의 LLM 사용을 표준화하는 라이브러리

프레임워크 개요

랭체인

언어 모델을 기반으로 하는 애플리케이션 개발을 위한 프레임워크입니다.

주요 기능:

• LLM 기반 애플리케이션을 위한 모듈형 구성 요소
• 복잡한 LLM 워크플로를 위한 체인 및 에이전트
• 상황별 상호작용을 위한 메모리 시스템
• 다양한 데이터 소스 및 API와의 통합

주요 사용 사례:

• 대화형 AI 시스템 구축
• 도메인별 질의응답 시스템 구축
• AI 기반 자동화 도구 개발

랭그래프

상태 저장 다중 행위자를 구축하기 위한 LangChain의 확장입니다. LLM 지원

주요 기능:

• 그래프 기반 워크플로 관리
• 복잡한 에이전트 상호작용을 위한 상태 관리
• 다중 에이전트 시스템 설계 및 구현을 위한 도구
• 순환 워크플로 및 피드백 루프

주요 사용 사례:

• 협업 AI 에이전트 시스템 생성
• 복잡한 상태 저장 AI 워크플로 구현
• AI 기반 시뮬레이션 및 게임 개발

커다란 건초 더미

생산 준비가 완료된 LLM 애플리케이션을 구축하기 위한 오픈 소스 프레임워크입니다.

주요 기능:

• 유연한 파이프라인을 갖춘 구성 가능한 AI 시스템
• 멀티모달 AI 지원(텍스트, 이미지, 오디오)
• 직렬화 가능한 파이프라인과 모니터링을 통해 프로덕션 준비 완료

주요 사용 사례:

• RAG 파이프라인 및 검색 시스템 구축
• 대화형 AI 및 챗봇 개발
• 콘텐츠 생성 및 요약
• 복잡한 워크플로로 에이전트 파이프라인 생성

라마인덱스

LLM 기반 애플리케이션을 구축하기 위한 데이터 프레임워크입니다.

주요 기능:

• 고급 데이터 수집 및 색인 생성
• 쿼리 처리 및 응답 합성
• 다양한 데이터 커넥터 지원
• 맞춤형 검색 및 순위 알고리즘

주요 사용 사례:

• 지식창고 및 질의응답 시스템 구축
• 대규모 데이터 세트에 대한 의미 검색 구현
• 상황 인식 AI 도우미 구축

DSPy

선언적이고 최적화 가능한 언어 모델 프로그램을 통해 AI 작업을 해결하기 위한 프레임워크입니다.

주요 기능:

• LLM 상호 작용을 위한 선언적 프로그래밍 모델
• LLM 프롬프트 및 매개변수의 자동 최적화
• LLM 입력/출력을 위한 서명 기반 유형 시스템
• 자동 프롬프트 개선을 위한 텔레프롬프터(현재 최적화)

주요 사용 사례:

• 강력하고 최적화된 NLP 파이프라인 개발
• 자기 개선 AI 시스템 구축
• LLM을 사용한 복잡한 추론 작업 구현

라가스

RAG(검색 증강 생성) 시스템을 위한 평가 프레임워크입니다.

주요 기능:

• RAG 파이프라인의 자동 평가
• 다양한 평가 지표(충실성, 맥락 관련성, 답변 관련성)
• 다양한 유형의 질문 및 데이터 세트 지원
• 인기 RAG 프레임워크와의 통합

주요 사용 사례:

• RAG 시스템 성능 벤치마킹
• RAG 파이프라인의 개선 영역 식별
• 다양한 RAG 구현 비교

LiteLLM

여러 LLM 제공업체를 위한 통합 인터페이스.

주요 기능:

• 100개의 LLM 모델을 위한 표준화된 API
• 자동 대체 및 로드 밸런싱
• 캐싱 및 재시도 메커니즘
• 사용량 추적 및 예산 관리

주요 사용 사례:

• 다중 LLM 애플리케이션 개발 단순화
• 모델 중복성 및 대체 전략 구현
• 다양한 제공업체의 LLM 사용 관리

결론

이러한 도구를 사용한 적이 있는지 알려주세요. 다른 사람들과 공유하고 싶은 내용을 제가 놓쳤나요? 자유롭게 저장소에 다시 기여해 주세요!