Математики МГУ предложили новую архитектуру вычислительной инфраструктуры с ИИ

Ученые Междисциплинарной научно-образовательной школы МГУ «Мозг, когнитивные системы, искусственный интеллект» предложили архитектуру вычислительной инфраструктуры нового поколения, основанную на использовании методов машинного обучения и мультиагентных систем. Новый подход позволяет управлять распределением ресурсов в масштабируемых сетевых средах, обеспечивая высокую производительность, отказоустойчивость и безопасность. Работа представлена на Международной конференции «Математика в созвездии наук».

Стремительный рост разнообразных приложений, объемов данных, подлежащих обработке, существенно обострил потребности в вычислениях.  Современные приложения становятся всё более требовательными к вычислительным ресурсам, скорости передачи данных и масштабируемости. Новые вызовы требуют распределённых решений с глобальной связностью и высокой адаптивностью, в то время как традиционные центры обработки данных (ЦОД) способны предоставлять вычислительные услуги лишь на своей локальной инфраструктуре. Другими словами, требуется сервис «вычисления по требованию». Не имеет значения, где и какие вычислители будут выполнять  обработку данных, важно быстро получить результат.

Ярким примером сказанного является проблема создания вычислительной инфраструктуры для обучения больших моделей в области искусственного интеллекта. Сегодня большие языковые модели модели достигли уже такого размера, что они не помещаются в один ЦОД. Для них необходима сеть ЦОДов. Другим примером является проблема управления распределением вычислительной мощностью государства. Сегодня вычислительные мощности являются, своего рода, аналогом энергетических мощностей. Во всех экономически развитых странах есть автоматизированные системы управления распределения электрических мощностей. Проблема создания единой сети вычислительных мощностей и управление ими является одним из ключевых вызовов для РФ.

В качестве ответа на этот вызов учёные факультета ВМК МГУ предложили новую архитектуру вычислительной инфраструктуры под названием Network Powered by Computing (NPC), которая обеспечивает гибкость, масштабируемость и эффективность управления вычислительными ресурсами в глобальных сетях для реализации вычислений по требованию. В основе архитектуры лежит использование методов машинного обучения и мультиагентных систем, которые позволяют динамически управлять распределением задач между вычислителями в зависимости от нагрузки и требований приложений.

NPC представляет собой полностью виртуализированную и программно-управляемую инфраструктуру, которая интегрирует различные вычислительные установки и высокоскоростные сети передачи данных. Важной особенностью является то, что такая инфраструктура не ограничена рамками одного ЦОДа или вычислительного комплекса. Она объединяет неоднородные вычислительные ресурсы в единую экосистему, предоставляя пользователям возможность получать вычислительные мощности по требованию — в любом месте и в любое время.

Основные свойства NPC включают:

• Глобальную связность и доступность ресурсов, что позволяет пользователям использовать вычислительные мощности без привязки к конкретным центрам обработки данных.
• Детерминированное качество сервисов передачи данных, обеспечивающее прогнозируемую задержку и стабильную производительность.
• Виртуализацию, масштабируемость и бессерверность, что позволяет динамически изменять конфигурацию ресурсов в зависимости от нагрузки.
• Доступность, надёжность и отказоустойчивость за счёт дублирования ресурсов и интеллектуального управления потоками данных.
• Эффективное распределение ресурсов с использованием методов машинного обучения, которые учитывают текущую загрузку и прогнозы потребления.
• Безопасность благодаря использованию многоуровневой защиты данных и сетевых соединений.

Одной из ключевых особенностей NPC является использование методов машинного обучения для прогнозирования загрузки и оптимального распределения ресурсов. Например, машинное обучение позволяет прогнозировать время выполнения приложений на различных вычислителях, оптимально распределять потоки данных в сети и выбирать лучшие каналы передачи данных.

Мультиагентные системы используются для управления распределением задач между вычислителями. В этих системах агенты взаимодействуют друг с другом, обмениваясь информацией о загрузке и состоянии ресурсов. Это позволяет динамически адаптировать архитектуру под изменения в требованиях приложений и сетевой инфраструктуры.

NPC открывает новые возможности для развития облачных вычислений, высокопроизводительных вычислительных установок (HPC), телекоммуникаций и интернет-сервисов. Это особенно актуально для приложений, требующих высокой производительности, таких как искусственный интеллект, машинное обучение, анализ больших данных и системы дополненной реальности.

Виртуализация и программное управление ресурсами позволяют использовать вычислительные мощности более эффективно, снижая затраты на оборудование и обслуживание. Кроме того, новая архитектура позволяет интегрировать вычислительные ресурсы из различных географических локаций, создавая глобальные распределённые системы.

«Предложенная нами архитектура вычислительной инфраструктуры – NPC позволяет более эффективно управлять вычислительными ресурсами в масштабируемых сетевых средах, предоставляя требуемое пользователем качество вычислительного сервиса. Использование методов машинного обучения и мультиагентных систем обеспечивает динамическое распределение задач и адаптацию к изменяющимся требованиям приложений. Это открывает новые перспективы для создания вычислительных инфраструктур нового поколения», — отметил Руслан Смелянский, заведующий кафедрой автоматизации систем вычислительных комплексов ВМК МГУ.

Будущие исследования будут направлены на интеграцию NPC с системами искусственного интеллекта и создание гибридных архитектур, сочетающих облачные и периферийные вычисления. Также планируется изучение вопросов безопасности и защиты данных в распределённых вычислительных средах.