Advance повышает эффективность флэш-памяти в центрах обработки данных
Исследователи из Массачусетского технологического института разработали новую систему флэш-памяти, которая могла бы сократить вдвое энергию и физическое пространство, необходимое для одного из самых дорогих компонентов центров обработки данных: хранения данных.
Центры обработки данных — это серверные фермы, которые облегчают связь между пользователями и веб-службами, и являются одними из самых энергоемких объектов в мире. В них тысячи энергоемких серверов хранят пользовательские данные, а отдельные серверы запускают службы приложений, которые обращаются к этим данным. Другие серверы иногда облегчают вычисления между этими двумя кластерами серверов.
Большинство серверов хранения сегодня используют твердотельные накопители (SSD), которые используют флэш-накопители — электронно-программируемые и стираемые микросхемы памяти без движущихся частей — для обработки высокопроизводительных запросов данных с высокой скоростью. В документе, представленном на Международной конференции ACM по архитектурной поддержке языков программирования и операционных систем, исследователи описывают новую систему под названием LightStore, которая модифицирует твердотельные накопители для прямого подключения к сети центра обработки данных — без необходимости использования каких-либо других компонентов — и для поддерживать в вычислительном отношении более простые и эффективные операции хранения данных. Дальнейшие программные и аппаратные инновации беспрепятственно интегрируют систему в существующую инфраструктуру центра обработки данных.
В ходе экспериментов исследователи обнаружили, что кластер из четырех модулей LightStore, называемых узлами хранения, работает в два раза эффективнее, чем традиционные серверы хранения, что измеряется энергопотреблением, необходимым для запросов данных. Кластеру также потребовалось менее половины физического пространства, занимаемого существующими серверами.
Исследователи отказались от экономии энергии за счет отдельных операций хранения данных, чтобы лучше охватить полную экономию энергии системой. Например, при «случайной записи» данных, которая является наиболее ресурсоемкой операцией во флэш-памяти, LightStore работает почти в восемь раз эффективнее, чем традиционные серверы.
Есть надежда, что однажды узлы LightStore смогут заменить энергоемкие серверы в центрах обработки данных. «Мы заменим эту архитектуру на более простое и дешевое решение для хранения данных… оно займет вдвое меньше места и вдвое меньше энергии, но при этом обеспечит такую же производительность пропускной способности», — говорит соавтор Arvind, профессор компьютерных наук Джонсон Инженер и научный сотрудник лаборатории информатики и искусственного интеллекта. «Это поможет вам в операционных расходах, поскольку потребляет меньше энергии и капитальных затрат, потому что экономия энергии в центрах обработки данных напрямую связана с экономией денег».
К статье Арвинда присоединились: первый автор Чанву Чунг, аспирант кафедры электротехники и компьютерных наук; и аспиранты Jinhyung Koo и Junsu Im, и профессор Sungjin Lee, все из Института науки и технологии Тэгу Кёнбук (DGIST).
Добавление значения в flash
Основной проблемой эффективности современных центров обработки данных является то, что архитектура не изменилась для размещения флэш-памяти. Несколько лет назад серверы хранения данных состояли из относительно медленных жестких дисков, а также множества динамических схем памяти с произвольным доступом (DRAM) и центральных процессоров (CPU), которые помогают быстро обрабатывать все данные, поступающие с серверов приложений.
Сегодня, однако, жесткие диски в основном были заменены на гораздо более быстрые флешки. «Люди просто подключили флэш-память туда, где раньше были жесткие диски, ничего не меняя», — говорит Чанг. «Если вы можете просто подключить флэш-накопители напрямую к сети, вам не понадобятся эти дорогие серверы хранения».
Для LightStore исследователи впервые модифицировали твердотельные накопители для доступа к ним в виде «пар ключ-значение», очень простого и эффективного протокола для получения данных. По сути, пользовательские запросы отображаются в виде ключей, как строка чисел. Ключи отправляются на сервер, который высвобождает данные (значение), связанные с этим ключом.
Концепция проста, но ключи могут быть очень большими, поэтому их вычисление (поиск и вставка) исключительно в SSD требует большой вычислительной мощности, которая используется традиционным «уровнем флеш-трансляции». Это довольно сложное программное обеспечение работает на отдельном модуле на флэш-диске для управления данными и их перемещения. Исследователи использовали определенные методы структурирования данных для запуска этого программного обеспечения для управления флэш-памятью, используя лишь небольшую часть вычислительной мощности. При этом они полностью выгружали программное обеспечение на крошечный контур флэш-накопителя, который работает намного эффективнее.
Эта разгрузка освобождает отдельные процессоры, уже находящиеся на диске — которые предназначены для упрощения и более быстрого выполнения вычислений — для запуска специального программного обеспечения LightStore. Это программное обеспечение использует методы структурирования данных для эффективной обработки запросов пары ключ-значение. По сути, не меняя архитектуру, исследователи превратили традиционную флешку в дисковод ключ-значение. «Итак, мы добавляем эту новую функцию для флэш-памяти — но мы действительно ничего не добавляем», — говорит Арвинд.
Адаптация и масштабирование
Задача состояла в том, чтобы обеспечить доступ серверов приложений к данным на узлах LightStore. В центрах обработки данных приложения получают доступ к данным через различные структурные протоколы, такие как файловые системы, базы данных и другие форматы. На традиционных серверах хранения используется сложное программное обеспечение, которое обеспечивает доступ к серверам приложений по всем этим протоколам. Но это требует большого количества вычислительной энергии и не подходит для работы в LightStore, который опирается на ограниченные вычислительные ресурсы.
Исследователи разработали очень легкое в вычислительном отношении программное обеспечение, называемое «адаптером», которое переводит все пользовательские запросы от сервисов приложений в пары ключ-значение. Адаптеры используют математические функции для преобразования информации о запрашиваемых данных, таких как команды из определенных протоколов и идентификационные номера сервера приложений, в ключ. Затем он отправляет этот ключ соответствующему узлу LightStore, который находит и выпускает сопряженные данные. Поскольку это программное обеспечение в вычислительном отношении проще, его можно установить непосредственно на серверы приложений.
«К каким бы данным вы ни обращались, мы выполняем перевод, который сообщает мне ключ и значение, связанное с ним. При этом я также убираю некоторые сложности с серверами хранения», — говорит Арвинд.
Последнее нововведение заключается в том, что добавление узлов LightStore в кластер линейно масштабируется с пропускной способностью данных — скоростью, с которой данные могут обрабатываться. Традиционно люди размещают твердотельные накопители в центрах обработки данных, чтобы обеспечить более высокую пропускную способность. Но, хотя емкость хранилища данных может возрасти, пропускная способность повышается только после нескольких дополнительных дисков. В ходе экспериментов исследователи обнаружили, что четыре узла LightStore превосходят пропускную способность при одинаковом количестве твердотельных накопителей.
