Durante a KubeCon EU 2024, a CNCF lançou seu primeiro whitepaper de IA nativa da nuvem. Este artigo fornece uma análise aprofundada do conteúdo deste whitepaper.

Em março de 2024, durante a KubeCon EU, a Cloud-Native Computing Foundation (CNCF) lançou seu primeiro whitepaper detalhado sobre Inteligência Artificial Nativa da Nuvem (CNAI) ¹. Este relatório explora extensivamente o estado atual, os desafios e as direções de desenvolvimento futuro da integração de tecnologias nativas da nuvem com inteligência artificial. Este artigo se aprofundará no conteúdo principal deste whitepaper.

Este artigo foi publicado pela primeira vez no plano MPP médio. Se você é um usuário médio, siga-me no meio. Muito obrigado.

O que é IA nativa da nuvem?

IA nativa da nuvem refere-se à construção e implantação de aplicativos e cargas de trabalho de inteligência artificial usando princípios de tecnologia nativa da nuvem. Isso inclui o aproveitamento de microsserviços, conteinerização, APIs declarativas e integração/implantação contínua (CI/CD), entre outras tecnologias nativas da nuvem, para aprimorar a escalabilidade, a reutilização e a operabilidade dos aplicativos de IA.

O diagrama a seguir ilustra a arquitetura da IA ​​nativa da nuvem, redesenhada com base no whitepaper.

Relação entre IA nativa da nuvem e tecnologias nativas da nuvem

As tecnologias nativas da nuvem fornecem uma plataforma flexível e escalonável que torna o desenvolvimento e a operação de aplicativos de IA mais eficientes. Por meio da arquitetura de conteinerização e microsserviços, os desenvolvedores podem iterar e implantar modelos de IA rapidamente, garantindo ao mesmo tempo alta disponibilidade e escalabilidade do sistema. Kuuch como agendamento de recursos, escalonamento automático e descoberta de serviços.

O whitepaper fornece dois exemplos para ilustrar a relação entre IA nativa da nuvem e tecnologias nativas da nuvem, ou seja, execução de IA em infraestrutura nativa da nuvem:

• Hugging Face colabora com a Microsoft para lançar o catálogo de modelos Hugging Face no Azure²
• OpenAI dimensionando Kubernetes para 7.500 nós³

Desafios da IA ​​nativa da nuvem

Apesar de fornecer uma base sólida para aplicativos de IA, ainda existem desafios na integração de cargas de trabalho de IA com plataformas nativas da nuvem. Esses desafios incluem a complexidade da preparação de dados, os requisitos de recursos de treinamento de modelos e a manutenção da segurança e do isolamento do modelo em ambientes multilocatários. Além disso, o gerenciamento e o agendamento de recursos em ambientes nativos da nuvem são cruciais para aplicações de IA em grande escala e precisam de otimização adicional para oferecer suporte ao treinamento e inferência eficientes de modelos.

Caminho de desenvolvimento da IA ​​nativa da nuvem

O white paper propõe vários caminhos de desenvolvimento para IA nativa em nuvem, incluindo a melhoria de algoritmos de agendamento de recursos para melhor suportar cargas de trabalho de IA, o desenvolvimento de novas tecnologias de malha de serviço para melhorar o desempenho e a segurança de aplicativos de IA e a promoção da inovação e padronização de nuvem nativa Tecnologia de IA por meio de projetos de código aberto e colaboração comunitária.

Cenário de tecnologia de IA nativa da nuvem

A IA nativa da nuvem envolve várias tecnologias, desde contêineres e microsserviços até service mesh e computação sem servidor. Kubernetes desempenha um papel central na implantação e gerenciamento de aplicativos de IA, enquanto tecnologias de malha de serviço, como Istio e Envoy, fornecem gerenciamento robusto de tráfego e recursos de segurança. Além disso, ferramentas de monitoramento como Prometheus e Grafana são cruciais para manter o desempenho e a confiabilidade dos aplicativos de IA.

Abaixo está o diagrama do cenário de IA nativa da nuvem fornecido no whitepaper.

• Kubernetes
• Vulcão
• Armada
• Kuberay
• Nvidia NeMo
• Yunikorn
• Kueue
• Chama

Treinamento Distribuído

• Operador de treinamento Kubeflow
• DDP Pytorch
• TensorFlow distribuído
• Abrir MPI
• DeepSpeed
• Megátron
• Horovod
• Apla
• …

Exibição de ML

• Servir
• Seldon
• VLLM
• TGT
• Skypilot
• …

CI/CD – Entrega

• Pipelines do Kubeflow
• Mlfluxo
• TFX
• BentoML
• MLRun
• …

Ciência de Dados

• Júpiter
• Cadernos Kubeflow
• PyTorch
• TensorFlow
• Apache Zeppelin

Observabilidade da carga de trabalho

• Prometeu
• Influxdb
• Grafana
• Pesos e preconceitos (wandb)
• OpenTelemetria
• …

AutoML

• Hiperopto
• Opção
• Kubeflow Katib
• NI
• …

Governança e Política

• Kyverno
• Kyverno-JSON
• OPA/Gatekeeper
• StackRox Minder
• …

Arquitetura de dados

• ClickHouse
• Apache Pinot
• Druida Apache
• Cassandra
• ScyllaDB
• Hadoop HDFS
• Apache HBase
• Presto
• Trino
• Apache Spark
• Apache Flink
• Kafka
• Pulsar
• Fluido
• Memcached
• Redes
• Aluxio
• Superconjunto Apache
• …

Bancos de dados vetoriais

• Croma
• Tecelagem
• Quadrante
• Pinha
• Extensões
• Redes
• Postgre SQL
• ElasticSearch
• …

Observabilidade do Modelo/LLM

• • Trulens
• Langfuse
• Verificações profundas
• OpenLLMetry
• …

Conclusão

Finalmente, os seguintes pontos-chave são resumidos:

• Papel da comunidade de código aberto : O whitepaper indica o papel da comunidade de código aberto no avanço da IA ​​nativa da nuvem, incluindo a aceleração da inovação e a redução de custos por meio de projetos de código aberto e ampla colaboração.
• Importância das tecnologias nativas da nuvem : A IA nativa da nuvem, construída de acordo com os princípios nativos da nuvem, enfatiza a importância da repetibilidade e da escalabilidade. As tecnologias nativas da nuvem fornecem um ambiente eficiente de desenvolvimento e operação para aplicações de IA, especialmente em agendamento de recursos e escalabilidade de serviços.
• Desafios existentes : Apesar de trazer muitas vantagens, a IA nativa da nuvem ainda enfrenta desafios na preparação de dados, requisitos de recursos de treinamento de modelos e segurança e isolamento de modelos.
• Direções de desenvolvimento futuro : O whitepaper propõe caminhos de desenvolvimento, incluindo a otimização de algoritmos de agendamento de recursos para suportar cargas de trabalho de IA, o desenvolvimento de novas tecnologias de malha de serviço para melhorar o desempenho e a segurança e a promoção da inovação e padronização tecnológica por meio de projetos de código aberto e colaboração da comunidade .
• Principais componentes tecnológicos : As principais tecnologias envolvidas na IA nativa da nuvem incluem contêineres, microsserviços, malha de serviço e computação sem servidor, entre outros. Kubernetes desempenha um papel central na implantação e gerenciamento de aplicativos de IA, enquanto tecnologias de malha de serviço como Istio e Envoy fornecem o gerenciamento de tráfego e a segurança necessários.

Para obter mais detalhes, baixe o whitepaper Cloud-Native AI ⁴.

Links de referência

1. Artigo: ↩︎

2. Hugging Face colabora com a Microsoft para lançar o catálogo de modelos Hugging Face no Azure ↩︎

3. OpenAI dimensionando o Kubernetes para 7.500 nós: ↩︎

4. Artigo sobre IA nativa da nuvem: ↩︎