Машина

Предыдущее изображение Следующее изображение

ChatGPT попал в заголовки газет по всему миру благодаря своей способности писать эссе, электронную почту и компьютерный код на основе нескольких запросов пользователя. Теперь команда под руководством MIT сообщает о системе, которая может привести к созданию программ машинного обучения, на несколько порядков более мощных, чем та, которая стоит за ChatGPT. Разработанная ими система также может потреблять на несколько порядков меньше энергии, чем современные суперкомпьютеры, лежащие в основе современных моделей машинного обучения.

В выпуске журнала Nature Photonics от 17 июля исследователи сообщают о первой экспериментальной демонстрации новой системы, которая выполняет вычисления на основе движения света, а не электронов, с использованием сотен лазеров микронного масштаба. Команда сообщает о более чем 100-кратном улучшении энергоэффективности и 25-кратном улучшении плотности вычислений (показатель мощности системы) по сравнению с современными цифровыми компьютерами для машинного обучения. .

В будущее

В документе команда также упоминает «существенно еще несколько порядков величины для будущего улучшения». В результате, продолжают авторы, этот метод «открывает путь к крупномасштабным оптоэлектронным процессорам для ускорения задач машинного обучения от центров обработки данных до децентрализованных периферийных устройств». Другими словами, мобильные телефоны и другие небольшие устройства смогут запускать программы, которые в настоящее время могут быть вычислены только в крупных центрах обработки данных.

Кроме того, поскольку компоненты системы могут быть созданы с использованием уже используемых сегодня производственных процессов, «мы ожидаем, что через несколько лет ее можно будет масштабировать для коммерческого использования. Например, задействованные лазерные матрицы широко используются для идентификации лица в мобильных телефонах и передачи данных», — говорит Зайджун Чен, первый автор, который проводил работу, будучи постдоком в Исследовательской лаборатории электроники (RLE) Массачусетского технологического института, а сейчас является научным сотрудником. доцент Университета Южной Калифорнии.

Говорит Дирк Инглунд, доцент кафедры электротехники и информатики Массачусетского технологического института и руководитель работы: «Размер ChatGPT ограничен мощностью современных суперкомпьютеров. Просто экономически невыгодно обучать модели гораздо большего размера. Наша новая технология может позволить перейти к моделям машинного обучения, которые в противном случае были бы недоступны в ближайшем будущем».

Он продолжает: «Мы не знаем, какими возможностями будет обладать ChatGPT следующего поколения, если он будет в 100 раз мощнее, но это тот режим открытий, который может обеспечить технология такого рода». Энглунд также является руководителем Лаборатории квантовой фотоники Массачусетского технологического института и связан с RLE и Лабораторией исследования материалов.

Барабанный бой прогресса

Нынешняя работа является последним достижением Энглунда и многих его коллег за последние несколько лет. Например, в 2019 году команда Энглунда сообщила о теоретической работе, которая привела к нынешней демонстрации. Первый автор этой статьи, Райан Хамерли, ныне работающий в RLE и NTT Research Inc., также является автором настоящей статьи.

Дополнительными соавторами текущей статьи Nature Photonics являются Александр Слуддс, Рональд Дэвис, Ян Кристен, Лиана Бернштейн и Ламия Атешян, все из RLE; и Тобиас Хойзер, Нильс Хеермайер, Джеймс А. Лотт и Стефан Райценштайн из Технического университета Берлина.

Глубокие нейронные сети (DNN), подобные той, что лежит в основе ChatGPT, основаны на огромных моделях машинного обучения, которые имитируют то, как мозг обрабатывает информацию. Однако цифровые технологии, лежащие в основе сегодняшних DNN, достигают своих пределов, хотя область машинного обучения растет. Кроме того, они требуют огромного количества энергии и в основном ограничиваются крупными центрами обработки данных. Это мотивирует разработку новых вычислительных парадигм.

Использование света, а не электронов для вычислений DNN потенциально может преодолеть существующие узкие места. Например, вычисления с использованием оптики потенциально могут использовать гораздо меньше энергии, чем вычисления, основанные на электронике. Кроме того, с помощью оптики «вы можете иметь гораздо большую пропускную способность» или плотность вычислений, говорит Чен. Свет может передавать гораздо больше информации на гораздо меньшую площадь.