Во время KubeCon EU 2024 CNCF представила свой первый технический документ по облачному искусственному интеллекту. В этой статье представлен углубленный анализ содержания данного технического документа.

В марте 2024 года во время KubeCon EU Фонд облачных вычислений (CNCF) опубликовал свой первый подробный технический документ по облачному искусственному интеллекту (CNAI) ¹. В этом отчете подробно рассматривается текущее состояние, проблемы и будущие направления развития интеграции облачных технологий с искусственным интеллектом. В этой статье мы углубимся в основное содержание данного технического документа.

Эта статья впервые публикуется в рамках среднего плана MPP. Если вы средний пользователь, пожалуйста, следуйте за мной в Medium. Большое спасибо.

Что такое облачный ИИ?

Облачный ИИ — это создание и развертывание приложений и рабочих нагрузок искусственного интеллекта с использованием принципов облачных технологий. Это включает в себя использование микросервисов, контейнеризации, декларативных API и непрерывной интеграции/непрерывного развертывания (CI/CD) среди других облачных технологий для повышения масштабируемости, возможности повторного использования и работоспособности приложений ИИ.

На следующей диаграмме показана архитектура Cloud-Native AI, перерисованная на основе технического документа.

Связь между облачным ИИ и облачными технологиями

Облачные технологии предоставляют гибкую масштабируемую платформу, которая делает разработку и эксплуатацию приложений искусственного интеллекта более эффективными. Благодаря контейнеризации и архитектуре микросервисов разработчики могут быстро повторять и развертывать модели ИИ, обеспечивая при этом высокую доступность и масштабируемость системы. Кууч как планирование ресурсов, автоматическое масштабирование и обнаружение сервисов.

В официальном документе представлены два примера, иллюстрирующие взаимосвязь между облачным ИИ и облачными технологиями, а именно запуск ИИ в облачной инфраструктуре:

• Hugging Face сотрудничает с Microsoft для запуска каталога моделей Hugging Face на Azure²
• Масштабирование OpenAI Kubernetes до 7500 узлов³

Проблемы облачного искусственного интеллекта

Несмотря на создание прочной основы для приложений ИИ, при интеграции рабочих нагрузок ИИ с облачными платформами по-прежнему существуют проблемы. Эти проблемы включают сложность подготовки данных, требования к ресурсам для обучения моделей, а также поддержание безопасности и изоляции моделей в многопользовательских средах. Кроме того, управление ресурсами и планирование в облачных средах имеют решающее значение для крупномасштабных приложений искусственного интеллекта и требуют дальнейшей оптимизации для поддержки эффективного обучения моделей и получения выводов.

Путь развития облачного искусственного интеллекта

В техническом документе предлагается несколько путей развития Cloud-Native AI, включая улучшение алгоритмов планирования ресурсов для лучшей поддержки рабочих нагрузок AI, разработку новых технологий сервисной сетки для повышения производительности и безопасности приложений AI, а также продвижение инноваций и стандартизацию Cloud-Native. Технологии искусственного интеллекта посредством проектов с открытым исходным кодом и сотрудничества сообщества.

Ландшафт облачных технологий искусственного интеллекта

Облачный ИИ включает в себя различные технологии: от контейнеров и микросервисов до сервисных сетей и бессерверных вычислений. Kubernetes играет центральную роль в развертывании и управлении приложениями искусственного интеллекта, а технологии сервисной сетки, такие как Istio и Envoy, обеспечивают надежное управление трафиком и функции безопасности. Кроме того, такие инструменты мониторинга, как Prometheus и Grafana, имеют решающее значение для поддержания производительности и надежности приложений искусственного интеллекта.

Ниже представлена ​​ландшафтная диаграмма облачного искусственного интеллекта, приведенная в официальном документе.

• Кубернетес
• Вулкан
• Армада
• Куберай
• Нвидиа НеМо
• Юникорн
• Куэуэ
• Пламя

Распределенное обучение

• Оператор обучения Kubeflow
• Пайторч DDP
• Распределенный TensorFlow
• Открыть MPI
• Глубокая скорость
• Мегатрон
• Горовод
• Апла
• …

Обслуживание машинного обучения

• Ксерве
• Селдон
• ВЛЛМ
• ТГТ
• Скайпилот
• …

CI/CD — Доставка

• Пайплайны Kubeflow
• Млфлоу
• TFX
• БентоМЛ
• MLRun
• …

Наука о данных

• Юпитер
• Блокноты Kubeflow
• PyTorch
• Тензорный поток
• Апач Цеппелин

Наблюдение за рабочей нагрузкой

• Прометей
• Influxdb
• Графана
• Вес и предвзятость (wandb)
• Открытая телеметрия
• …

АвтоМЛ

• Гиперопт
• Оптуна
• Кубефлоу Катиб
• ННИ
• …

Управление и политика

• Киверно
• Киверно-JSON
• OPA/привратник
• StackRox Minder
• …

Архитектура данных

• Кликхаус
• Апач Пино
• Апач-друид
• Кассандра
• БДСциллы
• Hadoop HDFS
• Apache HBase
• Престо
• Трино
• Apache Spark
• Apache Flink
• Кафка
• Пульсар
• Жидкость
• Memcached
• Редис
• Аллюксио
• Расширенный набор Apache
• …

Векторные базы данных

• Цветность
• Плетение
• Квадрант
• Сосновая шишка
• Расширения
• Редис
• Постгрес SQL
• Эластичный поиск
• …

Наблюдаемость модели/LLM

• • Трулензы
• Лангфус
• Глубокая проверка
• OpenLLMetry
• …

Заключение

И наконец, кратко излагаются следующие ключевые моменты:

• Роль сообщества открытого исходного кода : в официальном документе указана роль сообщества открытого исходного кода в продвижении облачного искусственного интеллекта, включая ускорение инноваций и снижение затрат за счет проектов с открытым исходным кодом и широкого сотрудничества.
• Важность облачных технологий: Облачный ИИ, созданный в соответствии с облачными принципами, подчеркивает важность повторяемости и масштабируемости. Облачные технологии обеспечивают эффективную среду разработки и эксплуатации приложений искусственного интеллекта, особенно в области планирования ресурсов и масштабируемости услуг.
• Существующие проблемы : Несмотря на множество преимуществ, облачный ИИ по-прежнему сталкивается с проблемами в подготовке данных, требованиях к ресурсам для обучения моделей, а также безопасности и изоляции моделей.
• Направления будущего развития : в техническом документе предлагаются пути развития, включая оптимизацию алгоритмов планирования ресурсов для поддержки рабочих нагрузок ИИ, разработку новых технологий сервисной сети для повышения производительности и безопасности, а также продвижение технологических инноваций и стандартизации посредством проектов с открытым исходным кодом и сотрудничества сообщества. .
• Ключевые технологические компоненты : Ключевые технологии, задействованные в облачном искусственном интеллекте, включают, среди прочего, контейнеры, микросервисы, сервисную сетку и бессерверные вычисления. Kubernetes играет центральную роль в развертывании и управлении приложениями искусственного интеллекта, а технологии сервисной сетки, такие как Istio и Envoy, обеспечивают необходимое управление трафиком и безопасность.

Для получения более подробной информации скачайте технический документ Cloud-Native AI ⁴.

Справочные ссылки

1. Информационный документ: ↩︎

2. Hugging Face сотрудничает с Microsoft для запуска каталога моделей Hugging Face на Azure ↩︎

3. Масштабирование OpenAI Kubernetes до 7500 узлов: ↩︎

4. Информационный документ по облачному искусственному интеллекту: ↩︎