새로운 Spiking Neuromorphic 칩은 고효율 AI 시대를 열 수 있습니다.

두뇌 컴퓨팅의 경우 타이밍이 모든 것입니다. 뉴런이 회로에 연결되는 방식입니다. 이것이 이러한 회로가 매우 복잡한 데이터를 처리하는 방식으로 삶과 죽음을 의미할 수 있는 행동으로 이어집니다. 완전히 새로운 상황에 직면했을 때에도 우리의 두뇌는 순식간에 결정을 내릴 수 있습니다. 그리고 우리는 막대한 에너지 소비로 인해 두뇌를 튀기지 않고 그렇게 합니다.

다시 말해서, 뇌는 모방할 수 있는 매우 강력한 컴퓨터의 훌륭한 예이며 컴퓨터 과학자와 엔지니어는 그렇게 하기 위한 첫 번째 단계를 밟았습니다. 뉴로모픽 컴퓨팅 분야는 새로운 하드웨어 칩과 소프트웨어 알고리즘으로 뇌의 아키텍처와 데이터 처리 능력을 재창조하는 것으로 보입니다. 진실을 향한 길일지도 모른다. 인공 지능.

그러나 한 가지 결정적인 요소가 부족합니다. 뉴로모픽 칩을 구동하는 대부분의 알고리즘은 각 인공 뉴런의 기여도, 즉 "시냅스 가중치"라고 불리는 서로 연결되는 정도에만 관심을 둡니다. 우리 뇌의 내부 작동에 해당하지만 빠진 것은 타이밍입니다.

이번 달에 유럽 연합의 대표적인 빅 데이터 신경 과학 노력인 인간 두뇌 프로젝트(Human Brain Project)와 제휴한 팀이 추가되었습니다. 시간의 요소 뉴로모픽 알고리즘으로 그 결과는 물리적 하드웨어에 구현되었습니다. BrainScaleS-2 뉴로모픽 플랫폼—최신 GPU 및 기존 뉴로모픽 솔루션과 맞붙습니다.

저자는 "딥 러닝에 사용되는 추상 신경망과 비교할 때 생물학적 원형이 많을수록 성능과 확장성 면에서 여전히 뒤쳐져 있습니다."라고 말했습니다.

여러 테스트에서 알고리즘은 표준 벤치마크 테스트에서 "정확도, 대기 시간 및 에너지 효율성 측면에서 유리하게" 비교했습니다. 말했다 연구에 참여하지 않은 취리히 대학과 스위스 ETH 취리히의 Charlotte Frenkel 박사. 뉴로모픽 컴퓨팅에 시간적 구성요소를 추가함으로써 우리는 정적인 데이터 작업(예: 이미지 인식)에서 시간을 더 잘 캡슐화하는 작업으로 이동하는 고효율 AI의 새로운 시대를 열 수 있습니다. 비디오, 생체 신호 또는 두뇌 대 컴퓨터 연설을 생각하십시오.

수석 저자인 Dr. Mihai Petrovici에게 잠재력은 양방향으로 나타납니다. “우리 작업은 뉴로모픽 컴퓨팅과 생물학적으로 영감을 받은 하드웨어에만 흥미로운 것이 아닙니다. 또한 소위 딥 러닝 접근 방식을 신경과학으로 이전하여 인간 두뇌의 비밀을 더욱 공개해야 한다는 요구도 인정합니다.”라고 그는 말했습니다. 말했다.

말하자 스파이크

새로운 알고리즘의 뿌리에는 뇌 컴퓨팅의 기본 원리인 스파이크가 있습니다.

고도로 추상화된 뉴런을 살펴보겠습니다. 그것은 두 개의 바깥쪽으로 뻗어있는 래퍼가 옆에 있는 구근 모양의 중간 섹션이 있는 너무 많은 롤과 같습니다. 한 쪽은 입력(이전 뉴런의 신호를 수신하는 복잡한 트리)입니다. 다른 하나는 화학 물질로 채워진 거품 같은 배를 사용하여 다른 뉴런에 신호를 보내는 출력이며, 이는 차례로 수신 측에서 전기 응답을 촉발합니다.

핵심은 이 전체 시퀀스가 ​​발생하려면 뉴런이 "스파이크"해야 한다는 것입니다. 뉴런이 충분히 높은 수준의 입력(잘 내장된 노이즈 감소 메커니즘)을 수신하는 경우에만 구근 부분이 출력 채널을 따라 이동하여 다음 뉴런에 경고하는 스파이크를 생성합니다.

그러나 뉴런은 정보를 전달하기 위해 하나의 스파이크를 사용하지 않습니다. 오히려 시간 순서대로 급증합니다. 모스 부호와 같이 생각하십시오. 전기 버스트가 발생하는 타이밍에는 풍부한 데이터가 전달됩니다. 이것은 회로와 계층으로 연결되는 뉴런의 기초가 되어 에너지 효율이 높은 처리를 가능하게 합니다.

그렇다면 뉴로모픽 컴퓨터에 대해 동일한 전략을 채택하지 않는 이유는 무엇입니까?

스파르타의 두뇌와 같은 칩

팀은 단일 인공 뉴런의 스파이크(헤라클레스 작업)를 매핑하는 대신 뉴런이 작동하는 데 걸리는 시간이라는 단일 측정 기준을 연마했습니다.

"최초 스파이크 시간" 코드의 기본 개념은 간단합니다. 뉴런이 급증하는 데 더 오래 걸릴수록 활동 수준이 낮아집니다. 스파이크를 계산하는 것과 비교할 때 뉴런의 활동을 인코딩하는 매우 드문 방법이지만 특전이 있습니다. 뉴런이 활성화될 때까지의 대기 시간만 활성화를 인코딩하는 데 사용되기 때문에 너무 많은 데이터 포인트로 컴퓨터를 압도하지 않고 뉴런의 응답성을 캡처합니다. 즉, 빠르고 에너지 효율적이며 쉽습니다.

다음으로 팀은 알고리즘을 뉴로모픽 칩에 인코딩했습니다. BrainScaleS-2, 구조 내부의 간단한 "뉴런"을 대략 에뮬레이트하지만 실행됩니다. 1,000배 이상 빠르게 우리의 생물학적 뇌보다 이 플랫폼에는 500개 이상의 물리적 인공 뉴런이 있으며, 각각은 생물학적 뉴런이 정보를 교환, 처리 및 저장하는 구성 가능한 시냅스를 통해 256개의 입력을 수신할 수 있습니다.

설정은 하이브리드입니다. "학습"은 시간 종속 알고리즘을 구현하는 칩에서 달성됩니다. 그러나 신경 회로에 대한 업데이트, 즉 한 뉴런이 다른 뉴런에 얼마나 강하게 연결되는지는 "인더루프 훈련"이라고 불리는 외부 워크스테이션을 통해 이루어집니다.

첫 번째 테스트에서 알고리즘은 전통적인 동양 기호의 여러 영역을 구문 분석해야 하는 "음양" 작업에 도전했습니다. 알고리즘은 평균 95%의 정확도로 뛰어났습니다.

팀은 다음으로 고전적인 딥 러닝 작업으로 설정에 도전했습니다.MNIST, 컴퓨터 비전에 혁명을 일으킨 손으로 쓴 숫자의 데이터세트입니다. 알고리즘은 거의 97%의 정확도로 다시 뛰어났습니다. 더욱 인상적인 것은 BrainScaleS-2 시스템이 10,000개의 테스트 샘플을 분류하는 데 XNUMX초도 채 걸리지 않았으며 상대적으로 에너지 소비가 매우 낮았다는 것입니다.

이러한 결과를 상황에 따라 팀은 다음으로 새로운 알고리즘으로 무장한 BrainScaleS-2의 성능을 상업용 및 기타 뉴로모픽 플랫폼과 비교했습니다. 가져가다 SpiNNaker, 신경 컴퓨팅 및 스파이크도 모방하는 대규모 병렬 분산 아키텍처입니다. 새로운 알고리즘은 SpiNNaker가 소비하는 전력의 극히 일부만을 소비하면서 이미지 인식에서 100배 이상 빨라졌습니다. IBM 뉴로모픽 칩의 선구자인 True North에서도 비슷한 결과가 나타났습니다.

다음 무엇입니까?

두뇌의 가장 가치 있는 두 가지 컴퓨팅 기능인 에너지 효율성과 병렬 처리는 이제 차세대 컴퓨터 칩에 큰 영감을 주고 있습니다. 목표? 현재 실리콘 기반 칩에 필요한 에너지의 일부만 사용하면서 우리의 두뇌만큼 유연하고 적응력이 뛰어난 기계를 구축하십시오.

그러나 인공 신경망에 의존하는 딥 러닝에 비해 생물학적으로 그럴듯한 것은 시들해졌습니다. Frenkel은 이 중 일부가 학습을 통해 이러한 회로를 "업데이트"하기 어렵다고 설명했습니다. 그러나 BrainScaleS-2와 약간의 타이밍 데이터가 있으면 이제 가능합니다.

동시에 시냅스 연결을 업데이트하기 위한 "외부" 중재자가 있으면 전체 시스템이 숨을 쉴 시간이 생깁니다. 우리 두뇌 계산의 지저분함과 유사한 뉴로모픽 하드웨어는 불일치와 오류로 가득 차 있습니다. 칩과 외부 중재자를 통해 전체 시스템은 이러한 가변성에 적응하는 법을 배우고 결국 더 빠르고 유연한 학습을 ​​위해 단점을 보완하거나 심지어 악용할 수도 있습니다.

Frenkel에게 알고리즘의 힘은 희소성에 있습니다. 그녀는 두뇌가 "시각 처리와 같은 빠른 반응 시간을 설명할 수 있는" 희소 코드로 구동된다고 설명했습니다. 전체 뇌 영역을 활성화하는 대신 러시아워 교통 체증에 갇히지 않고 빈 고속도로를 휙휙 지나가는 것과 같이 몇 개의 신경망만 필요합니다.

그 힘에도 불구하고 알고리즘에는 여전히 문제가 있습니다. 음성이나 생체 신호와 같은 시간 순서에는 탁월하지만 정적 데이터를 해석하는 데 어려움을 겪습니다. 그러나 Frenkel에게 이는 새로운 프레임워크의 시작입니다. 중요한 정보는 유연하지만 간단한 메트릭으로 인코딩할 수 있으며 일반화되어 기존 에너지 비용의 일부만으로 두뇌 및 AI 기반 데이터 처리를 강화할 수 있습니다.

“[그것은]… 전통적인 신경망 접근 방식에 비해 경쟁 우위를 마침내 입증하기 위해 뉴로모픽 하드웨어를 스파이크하는 중요한 디딤돌이 될 수 있습니다.”라고 그녀는 말했습니다.

이미지 크레디트: Göltz 및 Kriener et al.의 음양 데이터 세트의 데이터 포인트 분류. (하이델베르크/베른)

출처: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/