Renesas และ Syntiant พัฒนาโซลูชัน Multimodal AI ที่ควบคุมด้วยเสียงซึ่งรวมเอาวิสัยทัศน์ขั้นสูงและเทคโนโลยีเสียงเข้าด้วยกัน

เผยแพร่ซ้ำโดยเพลโต

ผู้ติดตาม: 0

เรเนซาส อิเล็กทรอนิกส์ คอร์ปอเรชั่นซัพพลายเออร์ชั้นนำด้านโซลูชันเซมิคอนดักเตอร์ขั้นสูง และ ซินเทียน คอร์ปบริษัทเทคโนโลยีชิปการเรียนรู้เชิงลึกที่พัฒนาการประมวลผลเสียงและเซ็นเซอร์อัจฉริยะที่ใช้พลังงานต่ำในอุปกรณ์ Edge ประกาศการพัฒนาร่วมกันของโซลูชัน AI หลายรูปแบบที่ควบคุมด้วยเสียง ซึ่งช่วยให้การทำงานแบบไร้สัมผัสที่ใช้พลังงานต่ำสำหรับการประมวลผลภาพใน IoT และ Edge ที่ใช้ AI แบบเห็นภาพ ระบบต่างๆ เช่น เครื่องชำระเงินอัตโนมัติ กล้องรักษาความปลอดภัย และระบบการประชุมทางวิดีโอ และอุปกรณ์อัจฉริยะ เช่น อุปกรณ์ทำความสะอาดหุ่นยนต์

โซลูชันใหม่รวม Renesas RZ/V ซีรีส์ วิสัยทัศน์ AI ไมโครโปรเซสเซอร์ยูนิต (MPU) และ Syntiant แบบหลายฟีเจอร์ที่ใช้พลังงานต่ำ กปปส. 120 Neural Decision Processor ให้ความสามารถในการประมวลผลเสียงและภาพขั้นสูง โซลูชันร่วมนี้มีฟังก์ชันการทำงานตลอดเวลาพร้อมการเปิดใช้งานการสั่งงานด้วยเสียงอย่างรวดเร็วจากโหมดสแตนด์บายเพื่อทำการจดจำวัตถุ การจดจำใบหน้า และงานตามการมองเห็นอื่นๆ ซึ่งเป็นฟังก์ชันที่สำคัญในกล้องรักษาความปลอดภัยและระบบอื่นๆ

ตัวอย่างเช่น ในขณะที่ตัวชี้นำเสียงที่ผู้ใช้กำหนดจะเปิดใช้งานไดรฟ์และการทำงานของระบบ การรู้จำ AI การมองเห็นจะติดตามพฤติกรรมของผู้ปฏิบัติงานและควบคุมการทำงาน หรือส่งคำเตือนเมื่อตรวจพบการกระทำที่น่าสงสัย

สถาปัตยกรรมหลายรูปแบบช่วยให้สร้างประสบการณ์ผู้ใช้แบบไม่ต้องสัมผัสสำหรับระบบที่ใช้วิชั่น AI ได้ง่ายขึ้น การใช้ชิปเฉพาะที่ประหยัดพลังงานสำหรับการรู้จำเสียงช่วยลดการใช้พลังงานขณะสแตนด์บายในขณะที่เร่งการพัฒนาระบบ เนื่องจากสามารถพัฒนาซอฟต์แวร์โดยไม่ขึ้นกับฟังก์ชันการทำงานของ AI ของวิชันซิสเต็ม

“เราคาดว่าความต้องการระบบหลายรูปแบบที่ใช้กระแสข้อมูลอินพุตหลายช่องทาง ทั้งภาพและเสียงจะเพิ่มขึ้นในอนาคต เพื่อเป็นแนวทางในการปรับปรุงทั้งความสะดวกในการใช้งานและความปลอดภัย” ฮิโรโตะ นิตตะ รองประธานอาวุโสและหัวหน้าธุรกิจ SoC กล่าว หน่วยธุรกิจ IoT และโครงสร้างพื้นฐานที่ Renesas

“ด้วยความร่วมมือระหว่าง Renesas ผู้ให้บริการเทคโนโลยี AI ภาพที่ใช้พลังงานต่ำ และ Syntiant ผู้ให้บริการเทคโนโลยี Voice AI เราจะเร่งการนำเทคโนโลยี AI เสียงอัจฉริยะขนาดเล็กพิเศษที่ใช้พลังงานต่ำมาใช้ในระบบฝังตัวและนำเสนอใหม่ โซลูชั่นที่ผสมผสานกับลูกค้าทั่วโลก”

Kurt Busch ซีอีโอของ Syntiant กล่าวว่า "อินเทอร์เฟซผู้ใช้แบบสั่งงานด้วยเสียงจะช่วยให้ลูกค้าสามารถมอบประสบการณ์ผู้ใช้ใหม่ๆ ที่นำความคิดสร้างสรรค์ยุคใหม่จากแนวคิดสู่ความเป็นจริง “เราได้จัดส่ง NDP การเรียนรู้เชิงลึกของเราไปแล้วกว่า 15 ล้านรายการทั่วโลก เพื่อเปิดใช้งานเสียงตลอดเวลาในแอพพลิเคชั่น IoT สำหรับผู้บริโภคและอุตสาหกรรมที่หลากหลาย การทำงานร่วมกันของเรากับ Renesas มอบโซลูชันเสียงและภาพที่ทรงพลังและใช้พลังงานต่ำ ซึ่งแน่นอนว่าจะช่วยเร่งการดึงดูดกลุ่มลูกค้าทั่วโลกในอุปกรณ์และกรณีการใช้งานที่หลากหลาย”

Renesas RZ/V Series MPU สำหรับวิสัยทัศน์ AI รวมตัวเร่ง DRP-AI (Dynamically Reconfigurable Processor-AI) ที่เป็นเอกสิทธิ์เฉพาะของ Renesas และรวมการอนุมาน AI ที่มีความแม่นยำสูงเข้ากับประสิทธิภาพด้านพลังงานที่ดีที่สุดในอุตสาหกรรม ประสิทธิภาพด้านพลังงานที่เหนือกว่านี้ช่วยลดความจำเป็นในการวัดการกระจายความร้อน เช่น ฮีตซิงก์หรือพัดลมระบายความร้อน ซึ่งช่วยลดต้นทุนค่าวัสดุ (BOM) และทำให้สามารถผสานรวม AI ด้านการมองเห็นเข้ากับแอพพลิเคชั่นฝังตัวที่หลากหลาย

ชิป Syntiant NDP120 รวมเอาความสามารถด้าน AI ที่ซับซ้อน ซึ่งสามารถนำมาใช้เพื่อใช้งานฟังก์ชันเสียงแบบแฮนด์ฟรีที่มีความแม่นยำสูงได้มากมาย รวมถึงการจดจำผู้พูด การตรวจจับคำหลัก การปลุกคำหลายคำ และการรู้จำคำสั่งในเครื่อง ด้วยเอ็นจิ้นการอนุมานเครือข่ายประสาท Syntiant Core 2 ทำให้ NDP120 สามารถเรียกใช้แอพพลิเคชั่นหลายตัวพร้อมกันในขณะที่ลดการใช้พลังงานให้เหลือพลังงานแบตเตอรี่ 1mW

โซลูชัน AI หลายรูปแบบที่ควบคุมด้วยเสียงใหม่นี้ใช้อุปกรณ์ที่ทำงานร่วมกันได้หลายตัวจากกลุ่มผลิตภัณฑ์ Renesas ที่กว้างขึ้น เพื่อให้ลูกค้าได้รับแพลตฟอร์มการสร้างต้นแบบที่ยกระดับขึ้นเพื่อนำเข้าสู่ตลาดได้เร็วขึ้นและลดความเสี่ยง โซลูชันใหม่นี้เป็นส่วนหนึ่งของ Renesas' ชุดค่าผสมที่ชนะซึ่งมีการผสมผสานผลิตภัณฑ์การประมวลผลแบบแอนะล็อก กำลัง และการประมวลผลแบบฝังที่ดึงดูดใจ ซึ่งช่วยให้ลูกค้าเร่งการออกแบบและออกสู่ตลาดได้เร็วขึ้น