Блог компании SkillFactory. Физики строят нейронные сети из вибраций, напряжений и лазеров. Они утверждают, что будущее вычислений заключается в использовании сложного физического поведения Вселенной. Подробностями делимся к старту флагманского курса по Data Science.

Внутри ящика со звукоизоляцией — одна из худших во всём мире нейронных сетей. Когда ей представляют изображение числа 6, она останавливается на мгновение и определяет цифру — 0. Руководитель разработки этой сети — физик-инженер из Корнельского университета Питер МакМахон с робкой улыбкой защищает её. Он указывает, что написанное от руки число выглядит неаккуратно. А Логан Райт — постдокторант, посетивший лабораторию МакМахона из NTT Research, уверяет, что обычно устройство отвечает верно, но признаёт, что ошибки случаются часто.

Эта нейронная сеть — новаторская, несмотря на неутешительную производительность. Другие нейросети работают в цифровом мире нулей и единиц, но это устройство работает на звуке. Исследователи переворачивают ящик — и обнаруживают не компьютерный чип, а микрофон с наклоном к титановой пластине, которая прикручена к динамику. Когда Райт воспроизводит новое изображение цифры, пиксели преобразуются в звук, и, когда динамик трясёт пластину, лаборатория наполняется слабым дребезжанием. Чтение выполняет не программное обеспечение на кремниевом чипе, а металлические реверберации. Даже разработчикам устройства не верится, что оно часто работает с успехом.

«Каким бы ни было назначение вибрирующего металла, оно не должно иметь ничего общего с классификацией рукописной цифры», — отмечает МакМахон.

Примитивная способность устройства к чтению, которую эта группа учёных представила в январской статье Nature, даёт учёным надежду, что далёким потомкам по силам будет совершить революцию в вычислительной технике.

Cпециалисты в компьютерной науке находят, что больше — значит лучше, когда речь идёт о традиционном ML. Наполнение сети большим количеством хранящих числа искусственных узлов улучшает её способность отличить таксу от далматина или преуспевать во множестве других задач распознавания образов. Потрясающие нейронные сети справляются с различными задачами — сочиняют эссе и создают иллюстрации. С большей вычислительной мощью возможными могут стать ещё более грандиозные подвиги. Этот потенциал мотивировал большие усилия по разработке мощных и эффективных методов вычислений.

МакМахон и группа его единомышленников отстаивают неортодоксальный подход. Они хотят заставить Вселенную считать за нас. «Многие физические системы естественным образом выполняют некоторые вычисления эффективнее или быстрее компьютерных вычислений», — сказал МакМахон. Когда инженеры проектируют самолёт, они могут оцифровывать чертежи и часами работать на суперкомпьютере, моделировать обтекание крыльев воздухом. Или поместить машину в аэродинамическую трубу и посмотреть, полетит ли она. Аэродинамическая труба мгновенно «рассчитывает» взаимодействие крыльев с воздухом.

Питер МакМахон и Тацухиро Онодера — члены группы в Корнелле, которая запрограммировала различные физические системы выполнять задачи ML

Такие исследователи, как МакМахон, ищут устройство, способное научиться делать что угодно, — систему, которая может адаптировать поведение путём проб и ошибок, чтобы приобрести любую новую способность, например, классифицировать рукописные цифры или отличать одну произносимую гласную от другой. Недавняя работа показала, что физические системы, такие как волны света, сети сверхпроводников и ветвящиеся потоки электронов, способны к обучению.

«Заново изобретается не только аппаратное обеспечение, но и вся вычислительная парадигма», — рассказывает математик из Швейцарского федерального технологического института в Цюрихе Бенджамин Селье, который помог в разработке нового алгоритма обучения на основе физики.

Учимся размышлять

Примерно десять лет назад с обучением хорошо справлялся только мозг. Именно структура мозга отчасти вдохновила учёных-компьютерщиков на разработку самых популярных моделей искусственного обучения — глубоких нейронных сетей.

Когда хочется, чтобы сеть считывала цифру 4, вы заставляете первый слой нейронов представлять необработанное изображение этой цифры, возможно, с сохранением оттенка каждого пикселя как значения соответствующего нейрона. Затем сеть «размышляет» — перемещает слой за слоем, умножает значения нейронов на синаптические веса, чтобы заполнить следующий слой. Нейрон с наибольшим значением в последнем слое указывает на ответ сети: если это второй нейрон, сеть предполагает, что увидела цифру 2.

Чтобы научить сеть делать разумные предположения, алгоритм работает и в обратном направлении. После каждого испытания он вычисляет разницу между предположением и правильным ответом. В примере это представлено большим значением четвёртого нейрона последнего слоя и небольшим значениями в других местах. Затем алгоритм слой за слоем проходит через сеть и вычисляет, как настроить веса, чтобы по мере необходимости значения конечных нейронов увеличивались или уменьшались. Эта процедура известна как обратное распространение, именно она лежит в основе глубокого обучения.

Спустя множество повторений «угадай-и-подгони» обратное распространение направляет веса к вариациям чисел, которые через каскад инициированных изображением умножений выдают записанную цифру.

Инфографика объясняет, как вибрирующая металлическая пластина может классифицировать рукописные цифры

Но по сравнению с происходящим в мозгу цифровое обучение в искусственных нейросетях выглядит крайне неэффективной. Ребёнок потребляет меньше 2000 калорий в день, и за несколько лет учится говорить, читать, играть и ещё много чему. При столь ограниченной диете, чтобы научиться общаться, революционной GPT-3 потребуется 1000 лет.

На взгляд физика большая цифровая нейросеть выполняет слишком много математических операций: гиганты обрабатывают более полутриллиона чисел — Вселенная же постоянно выполняет задачи далеко за пределами скудных вычислительных возможностей компьютеров. В комнате могут перемещаться триллионы триллионов молекул воздуха и это — невозможное для компьютера количество движущихся частей. Он не отследит столкновения в полноценной симуляции, а ведь у самого воздуха нет проблем с тем, как себя вести.

Наша задача — построить физические системы, естественным образом реализующие оба необходимых ИИ процесса:

• «мышление», связанное, например, с классификацией изображений;
• «обучение», необходимое для правильной классификации изображений.

Система, которая справится с этими задачами, будет использовать способность Вселенной действовать математически, не занимаясь математикой на самом деле.

«Мы не вычисляем 3,532 [знак умножения] 1,567 или что-то в этом роде, — рассказывает Селье. — Это делается неявно, просто по законам физики напрямую».

Размышления

МакМахон и его коллеги добились прогресса в «мыслительной» части головоломки.

Создавая лабораторию в Корнелле в последние перед пандемией месяцы, МакМахон обдумывал любопытное открытие. Многие годы самые эффективные нейросети распознавания изображений становились всё глубже, иными словами, сети с большим количеством слоёв лучше справляются с набором пикселей и маркировкой, (например, «пудель»). Эта тенденция вдохновила математиков на изучение преобразования из пикселей в «пуделя», которого достигают сети, и в 2017 году несколько групп предложили, что сети действуют как приближённые версии гладкой математической функции. Математическая функция преобразует входные данные (часто это положение точки вдоль оси x) в выходные — значение y или высоту кривой в данной точке. В нейросети определённого типа, чем больше слоёв, тем лучше по той причине, что функция приближается к некоей идеальной кривой.

Исследование заставило МакМахона задуматься: возможно, с плавно меняющейся физической системой можно обойти присущую цифровому подходу блочность.

Здесь хитрость — найти способ приручить сложную систему, адаптировать её поведение с помощью обучения. И МакМахон с командой выбрали титановую пластину, потому что многочисленные модели её вибраций смешивают входящий звук замысловатым образом.