Будет представлено новое программное обеспечение для балансировки нагрузки обработки данных
Современная поговорка «работай умнее, а не усерднее» подчеркивает важность не только работы для производства, но и эффективного использования ресурсов.
И это не то, что суперкомпьютеры в настоящее время преуспевают все время, особенно когда речь идет об управлении огромными объемами данных.
Но команда исследователей из Департамента компьютерных наук в Техническом колледже штата Вирджиния помогает суперкомпьютерам работать более эффективно новым способом, используя машинное обучение для правильного распределения или балансировки нагрузки задач обработки данных на тысячах серверов, которые составляют суперкомпьютер
Используя машинное обучение для прогнозирования не только задач, но и типов задач, исследователи обнаружили, что нагрузка на различные серверы может поддерживаться сбалансированной во всей системе. Команда представит свои исследования в Рио-де-Жанейро, Бразилия, на 33-м Международном симпозиуме по параллельной и распределенной обработке 22 мая 2019 года.
Современные системы управления данными в суперкомпьютерах полагаются на подходы, которые распределяют задачи по принципу циклического перебора для серверов, независимо от типа задачи или объема данных, которыми он будет обременять сервер. Когда нагрузка на серверы не сбалансирована, системы перегружаются отставшими, а производительность сильно снижается.
«Суперкомпьютерные системы являются предвестниками американской конкурентоспособности в области высокопроизводительных вычислений», — сказал Али Р. Батт, профессор компьютерных наук. «Они имеют решающее значение не только для достижения научных прорывов, но и для поддержания эффективности систем, которые позволяют нам вести бизнес нашей повседневной жизни, от использования потоковых сервисов для просмотра фильмов до обработки онлайновых финансовых транзакций и прогнозирования погодных систем с использованием моделирования погоды».
Чтобы внедрить систему для использования машинного обучения, команда создала новую сквозную плоскость управления, которая объединила сильные стороны приложений на стороне клиента и системные преимущества серверных подходов.
«Это исследование стало гигантским скачком в управлении суперкомпьютерными системами. То, что мы сделали, дало суперкомпьютерам повышение производительности и доказало, что этими системами можно управлять с умом и с минимальными затратами посредством машинного обучения», — сказал Бхарти Вадхва, первый автор бумага и докторская степень кандидат на кафедру информатики. «Мы дали пользователям возможность проектировать системы без больших затрат».
Новый метод дал команде возможность иметь «глаза» для мониторинга системы и позволил системе хранения данных изучать и прогнозировать, когда большие нагрузки могут снизиться или когда нагрузка станет слишком большой для одного сервера. Система также предоставляла информацию в режиме реального времени независимо от приложения, создавая глобальное представление о том, что происходит в системе. Раньше серверы не могли учиться, а программные приложения не были достаточно ловкими, чтобы их можно было настраивать без серьезного перепроектирования.
«Алгоритм предсказывал будущие запросы приложений через модель временных рядов», — сказал Арнаб К. Пол, второй автор и кандидат наук. кандидат также на кафедре информатики. «Эта способность извлекать уроки из данных дала нам уникальную возможность увидеть, как мы могли бы размещать будущие запросы со сбалансированной нагрузкой».
Сквозная система также дала пользователям беспрецедентную возможность воспользоваться установкой с балансировкой нагрузки без изменения исходного кода. В современных традиционных суперкомпьютерных системах это дорогостоящая процедура, поскольку она требует изменения основы кода приложения.
«Для меня было честью внести свой вклад в область суперкомпьютинга с этой командой», — сказала Сара Нойвирт, научный сотрудник Института вычислительной техники Гейдельбергского университета. «Чтобы суперкомпьютеры развивались и отвечали вызовам общества 21-го века, нам нужно будет руководить международными усилиями, такими как эта. Моя работа с обычно используемыми суперкомпьютерными системами извлекла большую выгоду из этого проекта».
Сквозная плоскость управления состояла из серверов хранения, размещающих информацию об использовании на сервере метаданных. Модель авторегрессионного интегрированного временного ряда скользящих средних использовалась для прогнозирования будущих запросов с точностью примерно 99 процентов и отправлялась на сервер метаданных для сопоставления с серверами хранения с использованием алгоритма графа максимального потока с минимальными затратами.
Это исследование финансируется Национальным научным фондом и проводится в сотрудничестве с Национальным вычислительным центром лидерства в Национальной лаборатории Ок-Риджа.
