Durante KubeCon EU 2024, CNCF lanzó su primer documento técnico sobre IA nativa de la nube. Este artículo proporciona un análisis en profundidad del contenido de este documento técnico.

En marzo de 2024, durante KubeCon EU, la Cloud-Native Computing Foundation (CNCF) publicó su primer documento técnico detallado sobre Inteligencia artificial nativa de la nube (CNAI) ¹. Este informe explora ampliamente el estado actual, los desafíos y las direcciones de desarrollo futuras de la integración de tecnologías nativas de la nube con inteligencia artificial. Este artículo profundizará en el contenido principal de este documento técnico.

Este artículo se publica por primera vez en el plan MPP mediano. Si eres un usuario medio, sígueme en medio. Muchas gracias.

¿Qué es la IA nativa de la nube?

La IA nativa de la nube se refiere a la creación e implementación de aplicaciones y cargas de trabajo de inteligencia artificial utilizando principios de tecnología nativa de la nube. Esto incluye aprovechar los microservicios, la contenedorización, las API declarativas y la integración/implementación continua (CI/CD), entre otras tecnologías nativas de la nube, para mejorar la escalabilidad, reutilización y operatividad de las aplicaciones de IA.

El siguiente diagrama ilustra la arquitectura de la IA nativa de la nube, rediseñada según el documento técnico.

Relación entre la IA nativa de la nube y las tecnologías nativas de la nube

Las tecnologías nativas de la nube proporcionan una plataforma flexible y escalable que hace que el desarrollo y la operación de aplicaciones de IA sean más eficientes. A través de la arquitectura de microservicios y contenedores, los desarrolladores pueden iterar e implementar modelos de IA rápidamente y al mismo tiempo garantizar una alta disponibilidad y escalabilidad del sistema. Kuuch como programación de recursos, escalamiento automático y descubrimiento de servicios.

El documento técnico proporciona dos ejemplos para ilustrar la relación entre la IA nativa de la nube y las tecnologías nativas de la nube, concretamente la ejecución de la IA en una infraestructura nativa de la nube:

• Hugging Face colabora con Microsoft para lanzar el catálogo de modelos Hugging Face en Azure²
• OpenAI escalando Kubernetes a 7500 nodos³

Desafíos de la IA nativa de la nube

A pesar de proporcionar una base sólida para las aplicaciones de IA, todavía existen desafíos al integrar cargas de trabajo de IA con plataformas nativas de la nube. Estos desafíos incluyen la complejidad de la preparación de datos, los requisitos de recursos de capacitación de modelos y el mantenimiento de la seguridad y el aislamiento del modelo en entornos multiinquilino. Además, la gestión y programación de recursos en entornos nativos de la nube son cruciales para las aplicaciones de IA a gran escala y necesitan una mayor optimización para respaldar la inferencia y el entrenamiento eficiente de modelos.

Ruta de desarrollo de la IA nativa de la nube

El documento técnico propone varias rutas de desarrollo para la IA nativa de la nube, incluida la mejora de los algoritmos de programación de recursos para soportar mejor las cargas de trabajo de IA, el desarrollo de nuevas tecnologías de malla de servicios para mejorar el rendimiento y la seguridad de las aplicaciones de IA y la promoción de la innovación y la estandarización de la IA nativa de la nube. Tecnología de IA a través de proyectos de código abierto y colaboración comunitaria.

Panorama tecnológico de IA nativa de la nube

La IA nativa de la nube implica varias tecnologías, que van desde contenedores y microservicios hasta malla de servicios y computación sin servidor. Kubernetes desempeña un papel central en la implementación y gestión de aplicaciones de IA, mientras que las tecnologías de malla de servicios como Istio y Envoy proporcionan sólidas funciones de seguridad y gestión del tráfico. Además, las herramientas de monitoreo como Prometheus y Grafana son cruciales para mantener el rendimiento y la confiabilidad de las aplicaciones de IA.

A continuación se muestra el diagrama del panorama de la IA nativa de la nube proporcionado en el documento técnico.

• Kubernetes
• Volcán
• Armada
• Kuberay
• Nvidia NeMo
• Yunikorn
• Kueue
• Llama

Entrenamiento distribuido

• Operador de capacitación de Kubeflow
• DDP de Pytorch
• TensorFlow distribuido
• Abrir MPI
• Velocidad profunda
• Megatrón
• Horovod
• Apla
• …

Servicio de aprendizaje automático

• Kservir
• Seldon
• VLLM
• TGT
• Piloto aéreo
• …

CI/CD: entrega

• Tuberías de Kubeflow
• Flujo ml
• TFX
• BentoML
• MLRun
• …

Ciencia de datos

• Jupyter
• Cuadernos Kubeflow
• PyTorch
• Flujo Tensor
• Zepelín Apache

Observabilidad de la carga de trabajo

• Prometeo
• Afluenciadb
• Gráfana
• Pesos y sesgos (wandb)
• Telemetría abierta
• …

AutoML

• Hiperoptación
• Optuna
• Kubeflow Katib
• NNI
• …

Gobernanza y política

• Kyverno
• Kyverno-JSON
• OPA/Guardián
• Cuidador de StackRox
• …

Arquitectura de datos

• Haga clic en Casa
• Apache Pinot
• Apache Druida
• Casandra
• ScyllaDB
• HadoopHDFS
• Apache HBase
• Presto
• Trino
• Apache chispa
• Apache Flink
• Kafka
• Pulsar
• Líquido
• Memcached
• Redis
• Alluxio
• Superconjunto de Apache
• …

Bases de datos vectoriales

• Croma
• Weaviate
• Cuadrante
• Piña
• Extensiones
• Redis
• SQL de Postgres
• Búsqueda elástica
• …

Observabilidad del modelo/LLM

• • Trulens
• Langfuse
• Comprobaciones profundas
• OpenLLMetry
• …

Conclusión

Finalmente, se resumen los siguientes puntos clave:

• Papel de la comunidad de código abierto: el documento técnico indica el papel de la comunidad de código abierto en el avance de la IA nativa de la nube, incluida la aceleración de la innovación y la reducción de costos a través de proyectos de código abierto y una amplia colaboración.
• Importancia de las tecnologías nativas de la nube : La IA nativa de la nube, construida según principios nativos de la nube, enfatiza la importancia de la repetibilidad y la escalabilidad. Las tecnologías nativas de la nube proporcionan un entorno de desarrollo y operación eficiente para aplicaciones de IA, especialmente en la programación de recursos y la escalabilidad de servicios.
• Desafíos existentes: a pesar de ofrecer muchas ventajas, la IA nativa de la nube todavía enfrenta desafíos en la preparación de datos, los requisitos de recursos de capacitación de modelos y la seguridad y el aislamiento de los modelos.
• Direcciones de desarrollo futuro: El documento técnico propone rutas de desarrollo que incluyen la optimización de algoritmos de programación de recursos para soportar cargas de trabajo de IA, el desarrollo de nuevas tecnologías de malla de servicios para mejorar el rendimiento y la seguridad, y la promoción de la innovación y la estandarización de la tecnología a través de proyectos de código abierto y colaboración comunitaria. .
• Componentes tecnológicos clave: Las tecnologías clave involucradas en la IA nativa de la nube incluyen contenedores, microservicios, malla de servicios y computación sin servidor, entre otras. Kubernetes desempeña un papel central en la implementación y gestión de aplicaciones de IA, mientras que las tecnologías de malla de servicios como Istio y Envoy proporcionan la seguridad y la gestión del tráfico necesarias.

Para obtener más detalles, descargue el documento técnico sobre IA nativa de la nube ⁴.

Enlaces de referencia

1. Documento técnico: ↩︎

2. Hugging Face colabora con Microsoft para lanzar el catálogo de modelos Hugging Face en Azure ↩︎

3. OpenAI escalando Kubernetes a 7500 nodos: ↩︎

4. Documento técnico sobre IA nativa de la nube: ↩︎