Оренбургский государственный университет

Разработка методов оптимизации систем размещения вычислительных виртуальных элементов в облачных инфраструктурах при работе с большими данными

Проект № 18-07-01446

Руководитель — д-р техн. наук, проф. Бахарева Н.Ф.

На третьем этапе проекта в 2020 г. разработаны алгоритмы развертывания облачных инфраструктур для прототипа платформы автоматизации распределенных вычислений для обработки больших данных. Они ориентированы на автоматическую установку, настройку и конфигурирование всего необходимого ПО для работы прототипа платформы. Созданы рекомендации по разработке облачных приложений для обработки больших данных, направленные на создание постоянно доступных приложений с возможностью гибких обновлений, быстрым масштабированием с учетом различной интенсивности запросов и/или объема обрабатываемых данных. Реализованы, разработанные на предыдущих этапах алгоритмы в виде программных модулей для прототипа платформы автоматизации распределенных вычислений для обработки больших данных. Для реализации среды исполнения распределенных приложений для обработки больших данных использован ряд решений с открытым исходным кодом для: организации распределенных вычислений в кластере узлов, распределенного хранения файлов, структурированных и полуструктурированных данных, библиотеки машинного обучения. Данная среда будет дополнена созданными программными модулями, системой управления легковесной виртуализацией/контейнеризации, а также клиентами API публичных облачных провайдеров. С использованием центров обработки данных облачных услуг IaaS развернут прототип создаваемой платформы автоматизации распределенных вычислений для обработки больших данных. Для этого созданы инфраструктурные виртуальные машины, на которые установлены все инфраструктурные компоненты платформы, также подготовлены дисковые образы для организации пулов виртуальных машин, настроено управление через API. Построена система критериев для оценки эффективности работы платформы автоматизации распределенных вычислений для обработки больших данных. Проведено экспериментальное исследование эффективности работы прототипа платформы автоматизации распределенных вычислений для обработки больших данных. Также проведена апробация прототипа платформы автоматизации распределенных вычислений для обработки больших данных на различных типовых задачах исследовательского анализа данных и машинного обучения.

Все полученные результаты исследований представлены на всероссийских и международных конференциях, а также опубликованы в изданиях, индексируемых системами Scopus или Web of Science, в журналах перечня ВАК.