Existen muchas herramientas increíbles que ayudan a crear aplicaciones de IA generativa. Pero comenzar con una nueva herramienta requiere tiempo para aprender y practicar.

Por este motivo, creé un repositorio con ejemplos de marcos de trabajo de código abierto populares para crear aplicaciones de IA generativa.

Los ejemplos también muestran cómo utilizar estos marcos con Amazon Bedrock.

Puedes encontrar el repositorio aquí:

https://github.com/danilop/oss-for-generative-ai

En el resto de este artículo, describiré los marcos que seleccioné, qué hay en el código de muestra en el repositorio y cómo se pueden usar en la práctica.

Marcos incluidos

• LangChain: un marco para desarrollar aplicaciones basadas en modelos de lenguaje, que incluye ejemplos de:

  • Invocación del modelo básico
  • Encadenamiento de mensajes
  • Construyendo una API
  • Creando un cliente
  • Implementando un chatbot
  • Uso de agentes Bedrock

• LangGraph: una extensión de LangChain para crear aplicaciones multiactor con estado y modelos de lenguaje grandes (LLM)

• Haystack: un marco de trabajo de un extremo a otro para crear sistemas de búsqueda y aplicaciones de modelos de lenguaje

• LlamaIndex: Un marco de datos para aplicaciones basadas en LLM, con ejemplos de:

  • RAG (Generación aumentada de recuperación)
  • Construyendo un agente

• DSPy: un marco para resolver tareas de IA utilizando modelos de lenguaje grandes

• RAGAS: Un marco para evaluar tuberías de generación aumentada de recuperación (RAG)

• LiteLLM: Una biblioteca para estandarizar el uso de LLM de diferentes proveedores

Descripción general de los marcos

LangChain

Un marco para desarrollar aplicaciones basadas en modelos de lenguaje.

Características clave:

• Componentes modulares para aplicaciones impulsadas por LLM
• Cadenas y agentes para flujos de trabajo complejos de LLM
• Sistemas de memoria para interacciones contextuales
• Integración con varias fuentes de datos y API

Casos de uso principales:

• Construyendo sistemas de IA conversacionales
• Creación de sistemas de respuesta a preguntas de dominios específicos
• Desarrollando herramientas de automatización impulsadas por IA

LangGraph

Una extensión de LangChain para crear múltiples actores con estado. solicitudes con LLM

Características clave:

• Gestión del flujo de trabajo basada en gráficos
• Gestión de estados para interacciones complejas de agentes
• Herramientas para el diseño e implementación de sistemas multiagente
• Flujos de trabajo cíclicos y bucles de retroalimentación

Casos de uso principales:

• Creación de sistemas colaborativos de agentes de IA
• Implementación de flujos de trabajo de IA complejos y con estado
• Desarrollar simulaciones y juegos basados ​​en IA

Almiar

Un marco de código abierto para crear aplicaciones LLM listas para producción.

Características clave:

• Sistemas de IA componibles con canalizaciones flexibles
• Soporte de IA multimodal (texto, imagen, audio)
• Listo para producción con canalizaciones serializables y monitoreo

Casos de uso principales:

• Construcción de oleoductos RAG y sistemas de búsqueda
• Desarrollando IA conversacional y chatbots
• Generación y resumen de contenidos
• Creación de canales de agentes con flujos de trabajo complejos

LlamaIndex

Un marco de datos para crear aplicaciones basadas en LLM.

Características clave:

• Ingestación e indexación de datos avanzada
• Procesamiento de consultas y síntesis de respuestas
• Soporte para varios conectores de datos
• Algoritmos de clasificación y recuperación personalizables

Casos de uso principales:

• Creación de bases de conocimiento y sistemas de respuesta a preguntas
• Implementación de búsqueda semántica en grandes conjuntos de datos
• Creación de asistentes de IA sensibles al contexto

DSPy

Un marco para resolver tareas de IA a través de programas de modelos de lenguaje declarativos y optimizables.

Características clave:

• Modelo de programación declarativa para interacciones LLM
• Optimización automática de indicaciones y parámetros de LLM
• Sistema de tipos basado en firmas para entradas/salidas de LLM
• Teleprompter (ahora optimizador) para mejora automática de avisos

Casos de uso principales:

• Desarrollar canales de PNL robustos y optimizados
• Creación de sistemas de IA que se mejoran a sí mismos
• Implementación de tareas de razonamiento complejas con LLM

RAGAS

Un marco de evaluación para sistemas de recuperación de generación aumentada (RAG).

Características clave:

• Evaluación automatizada de ductos RAG
• Múltiples métricas de evaluación (fidelidad, relevancia del contexto, relevancia de las respuestas)
• Soporte para diferentes tipos de preguntas y conjuntos de datos
• Integración con marcos RAG populares

Casos de uso principales:

• Evaluación comparativa del rendimiento del sistema RAG
• Identificando áreas de mejora en los ductos RAG
• Comparación de diferentes implementaciones de RAG

LiteLLM

Una interfaz unificada para múltiples proveedores de LLM.

Características clave:

• API estandarizada para 100 modelos LLM
• Retroceso automático y equilibrio de carga
• Mecanismos de almacenamiento en caché y reintento
• Seguimiento de uso y gestión de presupuesto

Casos de uso principales:

• Simplificando el desarrollo de aplicaciones multi-LLM
• Implementación de estrategias de respaldo y redundancia de modelos
• Gestión del uso de LLM entre diferentes proveedores

Conclusión

Avísame si usaste alguna de estas herramientas. ¿Me perdí algo que te gustaría compartir con los demás? ¡Siéntete libre de contribuir al repositorio!