Facebook разрабатывает собственный чип для глубокого обучения
Руководитель подразделения Facebook AI Research, Янн ЛеКун (Yann LeCun), сообщил, что компания активизировала работу над собственными чипами для машинного обучения. О возможности создания подобного специализированного чипа он говорил и четыре года назад.
«Разница в том, что сейчас работа идёт полным ходом, а тогда всё только зарождалось», – отметил ЛеКун в интервью на Конференции по полупроводниковым схемам (SSCC), состоявшейся в Сан-Франциско (штат Калифорния).
По его словам, для компаний с высокими объёмами вычислений, таких как Facebook или Google, имеет смысл работать на собственных движках, если индустрия не может предоставить нужного решения. Но сама Facebook традиционно делала это через партнёрство с производителями оборудования, мотивируя их создавать нужные ей решения.
Более широко о необходимости широких отраслевых инициатив для решения с помощью специализированных чипов проблем глубокого обучения на этапах тренировки и умозаключений, ЛеКун говорил в своей пленарной речи на конференции. Прежде всего он подчеркнул острую необходимость энергоэкономичных чипов для обработки данных от сенсоров прямо на границе сети, без отсылки их для этого в облако.
Кроме того, более экономичные процессоры важны и на промежуточном этапе в облаке – для «оффлайнового» обучения нейронных сетей и традиционного построения умозаключений. Ну и наконец, в высшем звене «пищевой цепочки» глубокого обучения, в отделах исследований и разработки Facebook и других компаний, требуются дополнительные опции помимо графических процессоров Nvidia, являющихся основным средством тренировки нейронных сетей.
«На самом высоком уровне нам сейчас нужна конкуренция доминирующему поставщику, – считает ЛеКун. – Не потому, что они чем-то плохи, а потому, что было бы неплохо иметь другой комплект оборудования, который делал бы другие предположения и дополнял таким образом работу нынешнего поколения GPU».
В настоящее время остаётся открытым вопрос о структуре таких альтернативных чипов. Будущие нейронные сети должны обладать возможностью анализировать целиком всё видео, содержащее многие тысячи пикселей. Для этого может понадобиться совершенно новая процессорная архитектура. Матрицы и тензоры – базовых элементы сегодняшнего оборудования ИИ, завтра могут оказаться уже не идеальными. Что может заменить их?
«Я не знаю. Я думаю, что настоящие гении в области аппаратного обеспечения должны будут изобрести новые способы делать это», – заявил ЛеКун.
- Источник(и):
- Войдите на сайт для отправки комментариев