新しいスパイクニューロモルフィックチップは、非常に効率的なAIの時代の到来を告げる可能性があります

ブレイン コンピューティングに関しては、タイミングがすべてです。これは、ニューロンが回路に接続される方法です。これは、これらの回路が非常に複雑なデータを処理する方法であり、生死を意味する可能性のあるアクションにつながります。これにより、まったく新しい状況に直面した場合でも、私たちの脳は瞬時に意思決定を行うことができます。そして、私たちは、大量のエネルギー消費によって脳を疲弊させることなく、それを実現します。

言い換えれば、脳は非常に強力なコンピューターを模倣するための優れた例であり、コンピューター科学者やエンジニアはそうするための最初の一歩を踏み出しました。ニューロモーフィック コンピューティングの分野では、新しいハードウェア チップとソフトウェア アルゴリズムを使用して、脳のアーキテクチャとデータ処理能力を再現しようとしています。それは真実への道かもしれない 人工知能.

しかし、重要な要素が 1 つ欠けています。ニューロモーフィック チップを強化するほとんどのアルゴリズムは、各人工ニューロンの寄与、つまり「シナプスの重み」と呼ばれる人工ニューロンの相互接続の強さのみを考慮します。欠けているものは、しかし私たちの脳の内部の働きに相当するものですが、タイミングです。

今月、欧州連合の主要なビッグデータ神経科学の取り組みであるヒューマン・ブレイン・プロジェクトに所属するチームは、次のように付け加えた。 時間の要素 ニューロモーフィックアルゴリズムへ。次に、その結​​果が物理ハードウェアに実装されました。 ブレインスケールS-2 ニューロモーフィック プラットフォーム - 最先端の GPU や従来のニューロモーフィック ソリューションと対戦します。

「深層学習で使用される抽象的なニューラル ネットワークと比較すると、より生物学的なアーキタイプは、その固有の複雑さのため、パフォーマンスとスケーラビリティの点で依然として遅れをとっています」と著者らは述べています。

いくつかのテストでは、アルゴリズムは標準的なベンチマーク テストと「精度、遅延、エネルギー効率の点で有利」に比較されました。 と スイスのチューリッヒ大学およびチューリッヒ工科大学のシャーロット・フレンケル博士は、この研究には関与していなかった。ニューロモーフィック コンピューティングに時間コンポーネントを追加することで、画像認識などの静的なデータ タスクから時間をより適切にカプセル化するタスクに移行する、高効率 AI の新時代を迎えることができます。ビデオ、生体信号、または脳からコンピューターへの音声を考えてみましょう。

筆頭著者のミハイ・ペトロヴィチ博士は、その可能性は双方向にあると語る。 「私たちの研究は、ニューロモーフィック コンピューティングや生物学にインスピレーションを受けたハードウェアにとって興味深いだけではありません。また、いわゆる深層学習アプローチを神経科学に応用し、それによって人間の脳の秘密をさらに明らかにするという需要も認めています。」 と.

スパイクについて話しましょう

新しいアルゴリズムの根底には、ブレイン コンピューティングの基本原理であるスパイクがあります。

高度に抽象化されたニューロンを見てみましょう。これはトッツィーロールのようなもので、球根状の中央部分の両側に外側に伸びる 2 つの包装紙があります。片側は入力、つまり前のニューロンから信号を受け取る複雑なツリーです。もう 1 つは出力で、化学物質で満たされた泡のような船を使って他のニューロンに信号を送信し、受信側で電気応答を引き起こします。

ここが核心です。このシーケンス全体が発生するには、ニューロンが「スパイク」する必要があります。ニューロンが十分に高いレベルの入力 (うまく組み込まれたノイズ低減メカニズム) を受け取った場合に限り、球根状の部分がスパイクを生成し、出力チャネルに伝わり、次のニューロンに警告します。

しかし、ニューロンは情報を伝達するために 1 つのスパイクだけを使用するわけではありません。むしろ、それらは時系列で急増します。モールス信号のようなものだと考えてください。電気バーストが発生するタイミングには、豊富なデータが含まれています。これはニューロンが回路や階層に配線されるための基礎であり、エネルギー効率の高い処理を可能にします。

では、ニューロモーフィック コンピューターにも同じ戦略を採用してみてはいかがでしょうか?

スパルタの脳のようなチップ

単一の人工ニューロンのスパイクをマッピングするという大変な作業の代わりに、チームは単一の指標、つまりニューロンが発火するまでにかかる時間に焦点を当てました。

「最初のスパイクまでの時間」コードの背後にある考え方は単純です。ニューロンのスパイクに時間がかかるほど、その活動レベルは低くなります。スパイクのカウントと比較すると、これはニューロンの活動をエンコードするための非常にまばらな方法ですが、特典もあります。ニューロンが最初に起動するまでの遅延のみがアクティベーションのエンコードに使用されるため、データ ポイントが多すぎてコンピューターに負担をかけることなく、ニューロンの応答性をキャプチャできます。言い換えれば、高速でエネルギー効率が高く、簡単です。

次にチームはアルゴリズムをニューロモーフィック チップ上にエンコードしました。 ブレインスケールS-2、その構造内で単純な「ニューロン」を大まかにエミュレートしますが、実行されます。 1,000倍以上高速 私たちの生物学的な脳よりも。このプラットフォームには 500 を超える物理的人工ニューロンがあり、それぞれが構成可能なシナプスを通じて 256 の入力を受け取ることができ、生物学的ニューロンが情報を交換、処理、保存します。

セットアップはハイブリッドです。 「学習」は、時間依存のアルゴリズムを実装したチップ上で実現されます。ただし、神経回路の更新、つまり、あるニューロンが別のニューロンにどれだけ強く接続されるかは、外部ワークステーション、つまり「インザループ トレーニング」と呼ばれるものを通じて行われます。

最初のテストでは、アルゴリズムが「陰陽」タスクに挑戦しました。このタスクでは、アルゴリズムが伝統的な東洋のシンボルのさまざまな領域を解析する必要があります。このアルゴリズムは優れており、平均精度は 95% でした。

次にチームは、古典的な深層学習タスクを使用してセットアップに挑戦しました。MNIST、コンピューター ビジョンに革命をもたらした手書きの数字のデータセット。このアルゴリズムは再び優れており、精度はほぼ 97% でした。さらに驚くべきことに、BrainScaleS-2 システムは 10,000 個のテストサンプルを分類するのに XNUMX 秒もかからず、相対的なエネルギー消費が非常に低かったことです。

これらの結果を状況に合わせて、チームは次に、新しいアルゴリズムを備えた BrainScaleS-2 のパフォーマンスを商用および他のニューロモーフィック プラットフォームと比較しました。取る SpiNNaker、ニューラル コンピューティングとスパイクも模倣する大規模な並列分散アーキテクチャです。新しいアルゴリズムは、SpiNNaker が消費する電力のほんの一部を消費しながら、画像認識で 100 倍以上高速になりました。同様の結果が、先駆的な IBM ニューロモーフィック チップである True North でも見られました。

次は何だ？

脳の 2 つの最も価値のあるコンピューティング機能、エネルギー効率と並列処理は、現在、次世代のコンピューター チップに大きな影響を与えています。目標？現在のシリコンベースのチップに必要なエネルギーのほんの一部を使用しながら、私たち自身の脳と同じくらい柔軟で適応性のあるマシンを構築します。

しかし、人工ニューラルネットワークに依存するディープラーニングと比較すると、生物学的に妥当性のあるディープラーニングは衰退している。その理由の一部は、学習を通じてこれらの回路を「更新」することの難しさであるとフレンケル氏は説明しました。しかし、BrainScaleS-2 とタイミング データを少し加えることで、それが可能になりました。

同時に、シナプス接続を更新するための「外部」アービトレータがあることにより、システム全体にある程度の休憩時間が与えられます。ニューロモーフィック ハードウェアは、私たちの脳の計算の混乱と同様に、不一致やエラーが散在しています。チップと外部アービトレータを使用すると、システム全体がこの変動に適応する方法を学習し、最終的にはその癖を補正したり、さらにはそれを利用したりして、より高速かつ柔軟な学習を行うことができます。

フレンケル氏にとって、アルゴリズムの力はそのまばらさにあります。彼女の説明によると、脳はまばらなコードによって動かされており、「視覚処理などの反応速度の速さを説明できる可能性がある」という。脳領域全体を活性化するのではなく、ラッシュアワーの渋滞に巻き込まれずに、空いている高速道路をビュンビュン飛ばすなど、少数のニューラル ネットワークだけが必要です。

その強力なアルゴリズムにもかかわらず、アルゴリズムにはまだ問題があります。静的データの解釈には苦労しますが、音声や生体信号などの時系列には優れています。しかし、フレンケル氏にとって、これは新しいフレームワークの始まりだ。重要な情報は柔軟だがシンプルな指標でエンコードされ、従来のエネルギーコストの数分の1で脳とAIベースのデータ処理を強化するために一般化できる。

「これは…ニューラルモーフィック ハードウェアをスパイクして、最終的に従来のニューラル ネットワーク アプローチに対する競争上の優位性を実証するための重要な足がかりとなる可能性があります」と彼女は述べた。

画像クレジット: Göltz と Kriener らによる、陰陽データセット内のデータ ポイントの分類。 (ハイデルベルク/ベルン)

出典: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/