Существует множество замечательных инструментов, которые помогают создавать генеративные приложения ИИ. Но для начала работы с новым инструментом требуется время на изучение и практику.

По этой причине я создал репозиторий с примерами популярных платформ с открытым исходным кодом для создания генеративных приложений искусственного интеллекта.

В примерах также показано, как использовать эти платформы с Amazon Bedrock.

Вы можете найти репозиторий здесь:

https://github.com/danilop/oss-for-generative-ai

В оставшейся части статьи я опишу выбранные мной фреймворки, что находится в примере кода в репозитории и как их можно использовать на практике.

Фреймворки включены

• LangChain: платформа для разработки приложений на основе языковых моделей, с примерами:

  • Вызов базовой модели
  • Объединение подсказок
  • Создание API
  • Создание клиента
  • Реализация чат-бота
  • Использование агентов Bedrock

• LangGraph: расширение LangChain для создания многоакторных приложений с отслеживанием состояния и большими языковыми моделями (LLM)

• Haystack: комплексная среда для создания поисковых систем и приложений языковых моделей

• LlamaIndex: структура данных для приложений на основе LLM с примерами:

  • RAG (генерация с расширенным поиском)
  • Создание агента

• DSPy: фреймворк для решения задач ИИ с использованием больших языковых моделей

• RAGAS: структура для оценки конвейеров извлечения дополненной генерации (RAG)

• LiteLLM: библиотека для стандартизации использования LLM от разных поставщиков

Обзор фреймворков

Лангчейн

Среда для разработки приложений на основе языковых моделей.

Основные особенности:

• Модульные компоненты для приложений на базе LLM
• Цепочки и агенты для сложных рабочих процессов LLM
• Системы памяти для контекстного взаимодействия
• Интеграция с различными источниками данных и API

Основные варианты использования:

• Создание диалоговых систем искусственного интеллекта
• Создание вопросно-ответных систем для конкретной предметной области
• Разработка инструментов автоматизации на базе искусственного интеллекта

Лангграф

Расширение LangChain для создания многоакторных приложений с отслеживанием состояния. заявки с LLM

Основные особенности:

• Управление рабочими процессами на основе графиков
• Управление состоянием для сложных взаимодействий агентов
• Инструменты для проектирования и внедрения мультиагентных систем
• Циклические рабочие процессы и циклы обратной связи

Основные варианты использования:

• Создание совместных систем агентов ИИ
• Реализация сложных рабочих процессов искусственного интеллекта с отслеживанием состояния
• Разработка симуляторов и игр на базе искусственного интеллекта

стог сена

Среда с открытым исходным кодом для создания готовых к использованию приложений LLM.

Основные особенности:

• Компонируемые системы искусственного интеллекта с гибкими конвейерами
• Поддержка мультимодального ИИ (текст, изображение, аудио)
• Готовность к производству с сериализуемыми конвейерами и мониторингом

Основные варианты использования:

• Создание конвейеров RAG и поисковых систем
• Разработка диалогового искусственного интеллекта и чат-ботов
• Создание и обобщение контента
• Создание агентских конвейеров со сложными рабочими процессами

ЛамаИндекс

Среда данных для создания приложений на основе LLM.

Основные особенности:

• Расширенный прием и индексирование данных
• Обработка запросов и синтез ответов
• Поддержка различных соединителей данных
• Настраиваемые алгоритмы поиска и ранжирования

Основные варианты использования:

• Создание баз знаний и вопросно-ответных систем
• Реализация семантического поиска по большим наборам данных
• Создание контекстно-зависимых ИИ-помощников

DSPy

Среда для решения задач ИИ с помощью декларативных и оптимизируемых программ языковой модели.

Основные особенности:

• Модель декларативного программирования для взаимодействия LLM
• Автоматическая оптимизация подсказок и параметров LLM
• Система типов на основе сигнатур для входов/выходов LLM
• Телесуфлер (теперь оптимизатор) для автоматического улучшения подсказок

Основные варианты использования:

• Разработка надежных и оптимизированных конвейеров НЛП
• Создание самосовершенствующихся систем искусственного интеллекта
• Реализация сложных логических задач с помощью LLM

РАГАС

Система оценки систем дополненной генерации (RAG).

Основные особенности:

• Автоматическая оценка конвейеров RAG
• Множество показателей оценки (верность, контекстная релевантность, релевантность ответа)
• Поддержка различных типов вопросов и наборов данных
• Интеграция с популярными RAG-фреймворками

Основные варианты использования:

• Сравнение производительности системы RAG
• Определение областей, требующих улучшения в конвейерах RAG
• Сравнение различных реализаций RAG

ЛайтLLM

Единый интерфейс для нескольких поставщиков LLM.

Основные особенности:

• Стандартизированный API для 100 моделей LLM
• Автоматический переход на резервный режим и балансировка нагрузки
• Механизмы кэширования и повторных попыток
• Отслеживание использования и управление бюджетом

Основные варианты использования:

• Упрощение разработки приложений с несколькими LLM
• Реализация избыточности моделей и стратегий отката
• Управление использованием LLM разными поставщиками

Заключение

Сообщите мне, использовали ли вы какой-либо из этих инструментов. Я пропустил что-то, чем вы хотели бы поделиться с другими? Не стесняйтесь внести свой вклад в репозиторий!