Оренбургский государственный университет

Разработка методов оптимизации систем размещения вычислительных виртуальных элементов в облачных инфраструктурах при работе с большими данными

Проект № 18-07-01446

Руководитель — д-р техн. наук, проф. Бахарева Н.Ф.

Существующие решения для создания облачных систем являются универсальными, они не учитывают специфику работы с большими данными — возможность распараллеливания и дублирования сетевых потоков (альтернативная маршрутизация и коммутация), большой объем потребляемой памяти и вычислений на один цикл анализа (особенно при использовании нейросетевых алгоритмов анализа как в процессе обучения, так и в процессе использования). Это приводит к невозможности развертывания структур, ответственных за обработку больших данных в произвольно взятом облаке.

Предлагаемый подход решает проблему недостаточной гибкости и эффективности при планировании и оркестрации вычислительных элементов внутри облачных структур, позволяет использовать изоляцию и лимитирование ресурсов через контейнеризацию и обеспечить топологическую связность сети даже при отсутствии прямого доступа к внешним IP-адресам узлов.

На первом этапе выполнения проекта разработан комплекс структурных моделей распределенной гетерогенной мультиоблачной вычислительной системы, вычислительной задачи для обработки больших данных, платформы автоматизации распределенных вычислений для обработки больших данных с использованием мультиоблачных структур. Также предложены методы прогнозирования потребления ресурсов распределенных вычислительных приложений для обработки больших данных.