Чип MIT сократил энергопотребление нейросети на 95%

Нейронные сети — мощные штуки, но очень прожорливые. Инженерам из Массачусетского технологического института (MIT) удалось разработать новый чип, который сокращает энергопотребление нейронной сети на 95%, что может в теории позволить им работать даже на мобильных устройствах с батареями. Смартфоны в наши дни становятся все умнее и умнее, предлагают все больше услуг, подпитанных искусственным интеллектом, вроде виртуальных ассистентов и переводов в реальном времени. Но обычно нейронные сети обрабатывают данные для этих сервисов в облаке, а смартфоны лишь передают данные туда и обратно.

Это не идеально, потому что требует толстый коммуникационный канал и предполагает, что чувствительные данные передаются и хранятся за пределами досягаемости пользователя. Но колоссальные объемы энергии, которая необходима для питания нейросетей, работающих на графических процессорах, невозможно обеспечить в устройстве, работающем на небольшом аккумуляторе.

Инженеры MIT разработали чип, снижающий это энергопотребление на 95%. Чип радикально сокращает потребность в передаче данных туда и обратно между памятью чипа и процессорами.

Нейронные сети состоят из тысяч взаимосвязанных искусственных нейронов, расположенных слоями. Каждый нейрон получает вводные данные от нескольких нейронов в нижележащем слое, и если комбинированный ввод проходит определенный порог, он передает результат нескольким нейронам выше. Сила связи между нейронами определяется весом, который устанавливается в процессе обучения.

Это означает, что для каждого нейрона чип должен извлечь вводные данные для определенного соединения и вес соединения из памяти, умножить их, сохранить результат, а затем повторить процесс для каждого ввода. Много данных передвигаются туда и сюда, тратится много энергии.

Новый чип MIT устраняет это, высчитывая все вводы параллельно в памяти с использованием аналоговых схем. Это значительно уменьшает объем данных, которые необходимо перегнать, и приводит к значительной экономии энергии.

Такой подход требует, чтобы вес соединений был бинарным, а не диапазонным значением, но предыдущие теоретические работы показали, что это не сильно повлияет на точность, и ученые обнаружили, что результаты работы чипа расходились на 2-3% от обычного варианта нейронной сети, работающей на стандартном компьютере.

Уже не в первый раз ученые создают чипы, которые обрабатывают процессы в памяти, снижая энергопотребление нейросети, но в первый раз этот подход был использован для работы мощной нейросети, известной своими обработками изображений.

«Результаты показывают впечатляющие спецификации энергоэффективного внедрения свертки операций в пределах массива памяти», говорит Дарио Джил, вице-президент по искусственному интеллекту в IBM.

«Это определенно открывает возможности использования более сложных сверточных нейронных сетей для классификации изображений и видео в Интернете вещей в будущем».

И это интересно не только группам R&D. Желание устроить ИИ на устройства вроде смартфонов, бытовой техники и всевозможные IoT-устройства толкают многих из Кремниевой долины в сторону чипов с низким энергопотреблением.

Apple уже интегрировала свой Neural Engine в iPhone X, чтобы запитать, например, технологию распознавания лиц, да и Amazon, по слухам, разрабатывает собственные чипы ИИ для следующего поколения цифровых ассистентов Echo.

Крупные компании, производители чипов также все больше начинают полагаться на машинное обучение, что вынуждает их делать свои устройства еще более энергоэффективными. В начале этого года ARM представила два новых чипа: процессор Arm Machine Learning, работающий с задачами общего ИИ, от перевода до распознавания лиц, и процессор Arm Object Detection, определяющий, например, лица на снимках.

Новейший мобильный чип Qualcomm, Snapdragon 845, имеет графический процессор и в значительной степени ориентирован на ИИ. Компания также представила Snapdragon 820E, который должен работать в беспилотниках, роботах и в промышленных устройствах.

Забегая вперед, IBM и Intel разрабатывают нейроморфные чипы, архитектура которых вдохновлена человеческим мозгом и невероятной энергоэффективностью. Это теоретически могло бы позволить TrueNorth (IBM) и Loihi (Intel) проводить мощное машинное обучение, пользуясь лишь небольшой долей энергии обычных чипов, но эти проекты еще сугубо экспериментальны.

Заставить чипы, которые дают жизнь нейросетям, экономить энергию батарей будет очень сложно. Но при нынешних темпах инноваций это «очень сложно» выглядит вполне посильным.