Скорость чтения данных методом Graph Convolutional Networks увеличивает перенаправление нагрузки

В сегодняшнем цифровом веке информация очень важна для каждого из нас, и иногда ее слишком много. Даже для высокопроизводительных компьютеров это может стать огромной проблемой. С таким большим количеством данных, люди придумали способ, чтобы уменьшить еёобъем, интерпретируя информацию в графики.

Но и в этом случае могут возникнуть проблемы. В настоящее время компьютеры борются за то, чтобы эффективно обрабатывать, анализировать и выбирать информацию, которая соответствует критериям пользователя. В таких случаях скорость имеет существенное значение, и именно это разочаровывает.

О новом методе распределения нагрузки - Graph Convolutional Networks

Команда исследователей во главе с PNNL,похоже, нашла решение проблемы. Идея команды строится на новом подходе машинного обучения, называемом graphconvolutional networks, или GCN, который интерпретирует графические данные в информацию намного быстрее. Исследователи разработали аппаратные ускорители, которые могут автоматически оценивать и настраивать рабочие нагрузки среди тысяч параллельных процессоров.

После достижения идеального баланса рабочей нагрузки эта конфигурация запускается на последующих итерациях обработки, из-за чего результат не заставляет себя долго ждать. Авторы считают, что их подход к балансировке рабочей нагрузки является первым аппаратным ускорителем, предназначенным для GCN. Команда также считает, что их работа - это первая автоматическая настройка баланса рабочей нагрузки с помощью аппаратного, а не программного обеспечения для ускоренных приложений машинного обучения.

Новый метод GCN может повысить скорость обнаружения данных для обеспечения их безопасности и сохранности, а также инициализации неисправностей в системах распределения электроэнергии и обнаружение рисков в системах учета. Этот подход также может ускорить научные открытия в таких областях, как предсказание химических реакций и свойств материалов, классификация частиц в физике и моделирование побочных эффектов лекарственных препаратов.

Управление передовых научных вычислительных исследований Министерства энергетики США поддержало это исследование через центр PNNL по оценке передовых технологий . PNNL также финансировала исследования в рамках своей программы высокопроизводительной аналитики данных и инициативы конвергенции моделей данных в рамках программы лабораторных исследований и разработок.

Как рождалась идея

Тонг Генг, докторант из Лаборатории компьютерной архитектуры и автоматизированного проектирования Бостонского университета, задумал и возглавил исследование GCN во время своего второго срока стажировки в PNNL. Идея начала формироваться ещё год назад во время работы над проектом глубокого обучения на бинарных нейронных сетях во время его первой стажировки в PNNL. Этот опыт заставил его задуматься об ограничениях другого типа машинного обучения - сверхточных нейронных сетях.

Эти сети извлекают информацию из обычных, плотных, одномерных источников данных, таких как фотографии, фильмы, аудиофайлы или текст. И наоборот, GCN выводит информацию в спорадических, разреженных и двумерных графических данных из таких источников, как социальные сети, органические химические формулы и компоненты электросетевой сети. Из-за широкого диапазона данных GCN, вывод результатов занимает много времени, когда используются традиционные подходы параллельной обработки.

Но до сих пор усилия по ускорению методов машинного обучения были сосредоточены только на традиционных нейронных сетях. Основываясь на информации с первого года стажировки, Гэн сказал, что он понял, что “GCN станет следующей важной темой для обсуждений в области машинного обучения”, и предложил новый проект с целью значительного увеличения скорости вывода GCN за счет сокращения задержек обработки и использования энергии.

Как увеличить обрабатываемый объем данных, но уменьшить время

Англи, специалист по вычислительной технике в отделе высокопроизводительных вычислений PNNL, консультировал Генга во время его первой и второй стажировок. Он пояснил, что при идеальном балансе рабочей нагрузки работа быстро и равномерно распределяется между процессорами, которые постоянно работают независимо и параллельно; то есть они не ждут друг-друга. Без времени простоя, обработчики заканчивают их рабочую нагрузку одновременно.

“Когда процессоры достигают своего предела, это почти идеальное распределение рабочей нагрузки", - сказал Ли. Команда протестировала свой подход, используя массивные графические данные из четырех больших баз данных цитирования и социальной сети. Ультра-сбалансированный дизайн рабочей нагрузки компилировал статистические результаты почти в 300 раз быстрее, чем стандартные параллельные процессоры, которые работали без метода пере балансировки.

Процесс также потреблял в 4000 раз меньше энергии. Благодаря своей эффективности, Генг считает, что подход балансировки рабочей нагрузки может заменить другие методы свертки сети. Тем временем Ли и его коллеги планируют построить кластер ускорителей GCN для обработки еще более крупных графиков.