ルネサスと Syntiant は、高度な視覚と音声技術を組み合わせた音声制御マルチモーダル AI ソリューションを開発

プラトン再発行

フォロワー： 0

ルネサスエレクトロニクス、先進的な半導体ソリューションの主要サプライヤー、および シンティアント社エッジデバイスでの低電力インテリジェント音声およびセンサー処理を推進するディープラーニングチップ技術企業であるは、ビジョン AI ベースの IoT およびエッジにおける画像処理のための低電力非接触操作を可能にする音声制御マルチモーダル AI ソリューションの共同開発を発表しました。セルフレジ、監視カメラ、ビデオ会議システムなどのシステムや、ロボット掃除機などのスマート家電など。

新しいソリューションはルネサスの RZ/Vシリーズビジョン AI マイクロプロセッサユニット (MPU) と低電力マルチモーダル、多機能 Syntiant NDP120 高度な音声および画像処理機能を提供するニューラルデシジョンプロセッサ。この共同ソリューションは、スタンバイモードから音声トリガーで迅速に起動できる常時オン機能を備えており、物体認識、顔認識、およびセキュリティカメラやその他のシステムで重要な機能であるその他の視覚ベースのタスクを実行します。

たとえば、ユーザー定義の音声キューが起動とシステムの動作を制御する一方で、ビジョン AI 認識はオペレーターの行動を追跡し、動作を制御したり、不審な動作が検出された場合に警告を発したりします。

マルチモーダルアーキテクチャにより、ビジョンAIベースのシステムの非接触ユーザーエクスペリエンスを簡単に作成できます。音声認識に専用の電力効率の高いチップを使用すると、ビジョンAI機能とは独立してソフトウェアを開発できるため、システム開発をスピードアップしながら待機電力消費を削減できます。

「使いやすさと安全性の両方を向上させる方法として、画像と音声の両方の入力情報の複数のストリームを使用するマルチモーダルシステムの需要が今後増加すると予想しています」と、同社の上級副社長兼 SoC ビジネス責任者の新田裕人氏は述べています。ルネサスのIoT・インフラ事業部。

「低消費電力の画像AI技術を提供するルネサスと音声AI技術を提供するSyntiantの協業を通じて、組み込みシステムにおける低消費電力、超小型のスマート音声AI技術の導入を加速し、新しい機能を提供していきます。ソリューションを組み合わせて世界中の顧客に提供します。」

「音声ベースのユーザーインターフェイスにより、顧客は次世代の革新的なアイデアを概念から現実に導く新しいユーザーエクスペリエンスを提供できるようになります」と Syntiant の CEO である Kurt Busch 氏は述べています。「当社はすでに 15 万個を超えるディープラーニング NDP を世界中に出荷し、さまざまな消費者および産業用 IoT アプリケーションで常時音声を実現しています。ルネサスとの協力により、強力かつ低消費電力の音声および画像ソリューションが提供され、さまざまなデバイスやユースケースにおいて世界の顧客ベースの間で確実に注目を集めることができます。」

ルネサスのビジョンAI向けMPU「RZ/Vシリーズ」は、ルネサス独自のDRP-AI（Dynamically Reconfigurable Processor-AI）アクセラレータを搭載し、高精度なAI推論と業界最高レベルの電力効率を兼ね備えています。この優れた電力性能により、ヒートシンクや冷却ファンなどの熱分散対策が不要となり、部品表 (BOM) コストが削減され、ビジョン AI を幅広い組み込みアプリケーションに統合することが可能になります。

Syntiant NDP120 チップには、話者認識、キーワード検出、複数のウェイクワード、ローカルコマンド認識など、多くの高精度のハンズフリー音声機能を実装するために使用できる高度な AI 機能が組み込まれています。 Syntiant Core 2 ニューラルネットワーク推論エンジンがパッケージ化された NDP120 は、消費電力を 1mW のバッテリ電力まで最小限に抑えながら、複数のアプリケーションを同時に実行することもできます。

新しい音声制御マルチモーダル AI ソリューションは、ルネサスの幅広いポートフォリオからの相互互換性のある複数のデバイスを使用して、市場投入までの時間を短縮し、リスクを軽減する高度なプロトタイピングプラットフォームを顧客に提供します。新しいソリューションはルネサスのソリューションの一部です勝利の組み合わせ、魅力的なアナログ、パワー、組み込み処理製品の組み合わせを特徴としており、顧客の設計を加速し、より早く市場に投入できるようにします。