有許多令人驚嘆的工具可以幫助建立生成式人工智慧應用程式。但開始使用新工具需要時間學習和練習。

因此，我創建了一個儲存庫，其中包含用於建立生成人工智慧應用程式的流行開源框架的範例。

這些範例也展示瞭如何將這些框架與 Amazon Bedrock 結合使用。

您可以在這裡找到存儲庫：

https://github.com/danilop/oss-for-generative-ai

在本文的其餘部分，我將描述我選擇的框架、儲存庫中範例程式碼的內容以及如何在實踐中使用它們。

包含的框架

• LangChain：用於開發由語言模型驅動的應用程式的框架，具有以下範例：

  • 基礎模型呼叫
  • 連結提示
  • 建構 API
  • 建立客戶端
  • 實作聊天機器人
  • 使用基岩代理

• LangGraph：LangChain 的擴展，用於使用大型語言模型 (LLM) 構建有狀態的多參與者應用程式

• Haystack：用於建立搜尋系統和語言模型應用程式的端到端框架

• LlamaIndex：基於 LLM 的應用程式的資料框架，範例包括：

  • RAG（檢索增強生成）
  • 建立代理人

• DSPy：使用大型語言模型解決人工智慧任務的框架

• RAGAS：評估檢索增強生成（RAG）管道的框架

• LiteLLM：標準化來自不同提供者的 LLM 的使用的庫

框架概述

浪鏈

用於開發由語言模型支援的應用程式的框架。

主要特點：

• 適用於法學碩士應用程式的模組化組件
• 複雜 LLM 工作流程的鍊和代理
• 情境互動的記憶系統
• 與各種資料來源和API整合

主要用例：

• 建構對話式人工智慧系統
• 創造特定領域的問答系統
• 開發人工智慧驅動的自動化工具

郎圖

LangChain 的擴展，用於建立有狀態的多參與者。法學碩士申請

主要特點：

• 基於圖的工作流程管理
• 複雜代理交互的狀態管理
• 設計與實作多代理系統的工具
• 循環工作流程與回饋循環

主要用例：

• 創建協作人工智慧代理系統
• 實施複雜、有狀態的人工智慧工作流程
• 開發人工智慧驅動的模擬和遊戲

草垛

用於建立生產就緒的 LLM 應用程式的開源框架。

主要特點：

• 具有靈活管道的可組合人工智慧系統
• 多模態AI支援（文字、圖像、音訊）
• 生產就緒，具有可序列化的管道和監控

主要用例：

• 建構 RAG 管道和搜尋系統
• 開發對話式人工智慧與聊天機器人
• 內容產生與摘要
• 創建具有複雜工作流程的代理管道

駱駝指數

用於建立 LLM 支援的應用程式的資料框架。

主要特點：

• 進階資料攝取與索引
• 查詢處理與回應合成
• 支援各種數據連接器
• 可自訂的檢索和排名演算法

主要用例：

• 創建知識庫與問答系統
• 在大型資料集上實現語意搜尋
• 建構情境感知人工智慧助理

DSPy

透過聲明性和可優化的語言模型程式解決人工智慧任務的框架。

主要特點：

• LLM互動的聲明式程式設計模型
• LLM提示與參數自動最佳化
• LLM 輸入/輸出的基於簽章的型別系統
• 用於自動提示改進的提詞器（現在是優化器）

主要用例：

• 開發強大且優化的 NLP 管道
• 創造自我改進的人工智慧系統
• 利用法學碩士實施複雜的推理任務

拉加斯

檢索增強生成（RAG）系統的評估架構。

主要特點：

• RAG 管道的自動評估
• 多種評估指標（忠實度、上下文相關性、答案相關性）
• 支援不同類型的問題和資料集
• 與流行的 RAG 框架整合

主要用例：

• RAG 系統效能基準測試
• 確定 RAG 管道需要改進的領域
• 比較不同的 RAG 實作

萊特法學碩士

多個 LLM 提供者的統一介面。

主要特點：

• 100 個 LLM 模型的標準化 API
• 自動回退與負載平衡
• 快取與重試機制
• 使用情況追蹤與預算管理

主要用例：

• 簡化多元法學碩士申請發展
• 實施模式冗餘與後備策略
• 管理不同提供者之間的 LLM 使用

結論

如果您使用過這些工具，請告訴我。我錯過了你想與他人分享的東西嗎？請隨意回饋儲存庫！