Новый шипящий нейроморфный чип может открыть эру высокоэффективного ИИ

Когда дело доходит до мозговых вычислений, время решает все. Именно так нейроны соединяются в цепи. Именно так эти схемы обрабатывают очень сложные данные, что приводит к действиям, которые могут означать жизнь или смерть. Именно так наш мозг может принимать решения за доли секунды, даже когда сталкивается с совершенно новыми обстоятельствами. И мы делаем это, не пережаривая мозг из-за чрезмерного потребления энергии.

Перефразируя, мозг представляет собой отличный пример чрезвычайно мощного компьютера, который можно имитировать, и ученые-компьютерщики и инженеры сделали первые шаги в этом направлении. Область нейроморфных вычислений призвана воссоздать архитектуру мозга и возможности обработки данных с помощью новых аппаратных чипов и программных алгоритмов. Возможно, это путь к истине искусственный интеллект.

Но не хватает одного важного элемента. Большинство алгоритмов, на которых работают нейроморфные чипы, заботятся только о вкладе каждого искусственного нейрона, то есть о том, насколько сильно они связаны друг с другом, что называется «синаптическим весом». Чего не хватает (но это равноценно внутренней работе нашего мозга), так это времени.

В этом месяце команда, связанная с проектом Human Brain Project, ведущим проектом Европейского Союза в области нейробиологии больших данных, добавила: элемент времени нейроморфному алгоритму. Результаты затем были реализованы на физическом оборудовании — BrainScaleS-2 нейроморфная платформа, противопоставляемая современным графическим процессорам и традиционным нейроморфным решениям.

«По сравнению с абстрактными нейронными сетями, используемыми в глубоком обучении, биологические архетипы… все еще отстают с точки зрения производительности и масштабируемости» из-за присущей им сложности, говорят авторы.

В нескольких тестах алгоритм показал «положительные результаты с точки зрения точности, задержки и энергоэффективности» в стандартном эталонном тесте. — сказал Доктор Шарлотта Френкель из Цюрихского университета и ETH Zurich в Швейцарии, не принимавшая участия в исследовании. Добавив временной компонент в нейроморфные вычисления, мы могли бы открыть новую эру высокоэффективного искусственного интеллекта, который перейдет от задач со статическими данными (скажем, распознавания изображений) к задачам, которые лучше инкапсулируют время. Подумайте о видео, биосигналах или речи между мозгом и компьютером.

По мнению ведущего автора доктора Михая Петровича, потенциал двусторонний. «Наша работа интересна не только для нейроморфных вычислений и биологического оборудования. Он также признает необходимость… перенести так называемые подходы глубокого обучения в нейробиологию и тем самым еще больше раскрыть тайны человеческого мозга», — он — сказал.

Поговорим о шипах

В основе нового алгоритма лежит фундаментальный принцип мозговых вычислений: спайки.

Давайте взглянем на сильно абстрактный нейрон. Это похоже на рулет Тутси с выпуклой средней частью, окруженной двумя обертками, идущими наружу. Одна сторона — это входные данные — сложное дерево, которое получает сигналы от предыдущего нейрона. Другой — это выходной сигнал, посылающий сигналы другим нейронам с помощью пузыреобразных кораблей, наполненных химическими веществами, что, в свою очередь, вызывает электрический отклик на принимающем конце.

Вот в чем суть: чтобы вся эта последовательность произошла, нейрон должен «вспыхнуть». Если и только если нейрон получает достаточно высокий уровень входных данных (хорошо встроенный механизм шумоподавления), выпуклая часть генерирует импульс, который проходит по выходным каналам, чтобы предупредить следующий нейрон.

Но нейроны не используют только один импульс для передачи информации. Скорее, они всплывают во временной последовательности. Думайте об этом как об азбуке Морзе: время возникновения электрического взрыва несет в себе огромное количество данных. Это основа объединения нейронов в цепи и иерархии, обеспечивающие высокоэнергоэффективную обработку.

Так почему бы не применить ту же стратегию для нейроморфных компьютеров?

Спартанский мозгоподобный чип

Вместо того, чтобы составлять карту спайков одного искусственного нейрона (геркулесова задача), команда сосредоточилась на одном показателе: сколько времени требуется нейрону, чтобы сработать.

Идея кода «время до первого всплеска» проста: чем дольше нейрону требуется время для всплеска, тем ниже уровень его активности. По сравнению с подсчетом импульсов, это чрезвычайно редкий способ кодирования активности нейрона, но у него есть свои преимущества. Поскольку для кодирования активации используется только задержка до первого возбуждения нейрона, она фиксирует реакцию нейрона, не перегружая компьютер слишком большим количеством точек данных. Другими словами, это быстро, энергоэффективно и просто.

Затем команда закодировала алгоритм на нейроморфном чипе — BrainScaleS-2, который примерно имитирует внутри своей структуры простые «нейроны», но работает более чем в 1,000 раз быстрее чем наш биологический мозг. Платформа имеет более 500 физических искусственных нейронов, каждый из которых способен получать 256 входных сигналов через настраиваемые синапсы, где биологические нейроны обмениваются, обрабатывают и хранят информацию.

Установка является гибридной. «Обучение» осуществляется на чипе, реализующем алгоритм, зависящий от времени. Однако любые обновления нейронной цепи (то есть того, насколько сильно один нейрон соединяется с другим) достигаются с помощью внешней рабочей станции, что получило название «текущего обучения».

В первом тесте алгоритму была поставлена ​​задача «Инь-Ян», которая требует от алгоритма анализа различных областей традиционного восточного символа. Алгоритм показал себя превосходно, его точность составила в среднем 95 процентов.

Затем команда поставила перед установкой классическую задачу глубокого обучения:МНИСТ, набор данных рукописных чисел, который произвел революцию в компьютерном зрении. Алгоритм снова показал себя превосходно с точностью почти 97 процентов. Еще более впечатляюще то, что системе BrainScaleS-2 потребовалось менее одной секунды, чтобы классифицировать 10,000 XNUMX тестовых образцов при чрезвычайно низком относительном энергопотреблении.

Поместив эти результаты в контекст, команда затем сравнила производительность BrainScaleS-2, оснащенного новым алгоритмом, с коммерческими и другими нейроморфными платформами. Брать Спинакер, массивная параллельная распределенная архитектура, которая также имитирует нейронные вычисления и спайки. Новый алгоритм распознавал изображения более чем в 100 раз быстрее, потребляя при этом лишь часть энергии, потребляемой SpiNNaker. Аналогичные результаты были получены с True North, предвестником нейроморфных чипов IBM.

Что дальше?

Две наиболее ценные вычислительные функции мозга — энергоэффективность и параллельная обработка — теперь во многом вдохновляют следующее поколение компьютерных чипов. Цель? Создавайте машины, которые будут такими же гибкими и адаптивными, как наш собственный мозг, используя при этом лишь часть энергии, необходимой для наших нынешних кремниевых чипов.

Однако по сравнению с глубоким обучением, которое опирается на искусственные нейронные сети, биологически правдоподобные методы уходят в прошлое. Частично это, как объяснил Френкель, связано с трудностью «обновления» этих цепей посредством обучения. Однако с помощью BrainScaleS-2 и данных о времени это стало возможным.

В то же время наличие «внешнего» арбитра для обновления синаптических связей дает всей системе некоторое время передохнуть. Нейроморфное оборудование, подобно беспорядочным вычислениям нашего мозга, полно несоответствий и ошибок. Благодаря чипу и внешнему арбитру вся система может научиться адаптироваться к этой изменчивости и в конечном итоге компенсировать — или даже использовать — свои особенности для более быстрого и гибкого обучения.

По мнению Френкеля, сила алгоритма заключается в его редкости. Мозг, объяснила она, питается редкими кодами, которые «могут объяснить быстрое время реакции… например, при обработке визуальных данных». Вместо того, чтобы активировать целые области мозга, необходимы лишь несколько нейронных сетей — например, мчаться по пустым шоссе вместо того, чтобы застрять в пробке в час пик.

Несмотря на свою мощь, у алгоритма все еще есть сбои. Ему сложно интерпретировать статические данные, хотя он превосходно справляется с временными последовательностями, например речью или биосигналами. Но для Френкеля это начало новой концепции: важная информация может быть закодирована с помощью гибкой, но простой метрики и обобщена, чтобы обогатить обработку данных на основе мозга и искусственного интеллекта с небольшой долей традиционных затрат на электроэнергию.

«[Это]… может стать важным шагом на пути к расширению нейроморфного оборудования, чтобы наконец продемонстрировать конкурентное преимущество перед традиционными подходами к нейронным сетям», — сказала она.

Изображение предоставлено: Классификация точек данных в наборе данных Инь-Ян, авторы Гёльц и Кринер и др. (Гейдельберг / Берн)

Источник: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/