ชิป Neuromorphic Spiking ตัวใหม่สามารถนำไปสู่ยุค AI . ที่มีประสิทธิภาพสูง

เมื่อพูดถึงการคำนวณด้วยสมอง เวลาคือทุกสิ่ง มันเป็นวิธีที่เซลล์ประสาทเชื่อมต่อกันเป็นวงจร วงจรเหล่านี้ประมวลผลข้อมูลที่ซับซ้อนสูงอย่างไร ซึ่งนำไปสู่การดำเนินการที่อาจหมายถึงชีวิตหรือความตาย สมองของเราสามารถตัดสินใจได้ในเสี้ยววินาที แม้ว่าจะต้องเผชิญกับสถานการณ์ใหม่ทั้งหมดก็ตาม และเราทำเช่นนั้นโดยไม่ต้องทอดสมองจากการใช้พลังงานอย่างกว้างขวาง

ในการเรียบเรียงใหม่ สมองเป็นตัวอย่างที่ยอดเยี่ยมของคอมพิวเตอร์ที่ทรงพลังอย่างยิ่งในการเลียนแบบ และนักวิทยาศาสตร์และวิศวกรคอมพิวเตอร์ได้เริ่มดำเนินการขั้นแรกในการทำเช่นนั้น สาขาของคอมพิวเตอร์ neuromorphic ดูเหมือนจะสร้างสถาปัตยกรรมของสมองและความสามารถในการประมวลผลข้อมูลด้วยชิปฮาร์ดแวร์ใหม่และอัลกอริธึมซอฟต์แวร์ อาจเป็นหนทางสู่ความจริง ปัญญาประดิษฐ์.

แต่ขาดองค์ประกอบสำคัญอย่างหนึ่ง อัลกอริธึมส่วนใหญ่ที่ขับเคลื่อนชิปนิวโรมอร์ฟิกสนใจเฉพาะการมีส่วนร่วมของเซลล์ประสาทเทียมแต่ละเซลล์เท่านั้น นั่นคือความแรงของเซลล์ประสาทที่เชื่อมต่อถึงกันซึ่งเรียกว่า "น้ำหนัก synaptic" สิ่งที่ขาดหายไป—แต่เท่ากับการทำงานภายในของสมอง—คือจังหวะเวลา

ในเดือนนี้ ทีมงานจากโครงการ Human Brain Project ซึ่งเป็นโครงการด้านประสาทวิทยาศาสตร์บิ๊กดาต้าของสหภาพยุโรป กล่าวเสริม องค์ประกอบของเวลา สู่อัลกอริธึม neuromorphic จากนั้นนำผลลัพธ์ไปใช้กับฮาร์ดแวร์จริง—the เบรนสเกลเอส-2 แพลตฟอร์ม neuromorphic และเทียบกับ GPU ที่ล้ำสมัยและโซลูชัน neuromorphic ทั่วไป

"เมื่อเทียบกับโครงข่ายประสาทนามธรรมที่ใช้ในการเรียนรู้อย่างลึกซึ้ง ต้นแบบทางชีววิทยาที่มากขึ้น...ยังคงล้าหลังในแง่ของประสิทธิภาพและความสามารถในการปรับขนาด" เนื่องจากความซับซ้อนโดยธรรมชาติของพวกมัน

ในการทดสอบหลายครั้ง อัลกอริธึมได้เปรียบเทียบ "ในแง่ดีในแง่ของความแม่นยำ เวลาแฝง และประสิทธิภาพการใช้พลังงาน" ในการทดสอบเกณฑ์มาตรฐาน กล่าวว่า Dr. Charlotte Frenkel จากมหาวิทยาลัยซูริกและ ETH Zurich ในสวิตเซอร์แลนด์ ซึ่งไม่ได้มีส่วนร่วมในการศึกษาวิจัยนี้ การเพิ่มองค์ประกอบชั่วคราวในการประมวลผลแบบ neuromorphic ทำให้เราสามารถนำ AI ที่มีประสิทธิภาพสูงไปสู่ยุคใหม่ที่ย้ายจากงานข้อมูลคงที่ เช่น การจดจำภาพ ไปสู่การทำงานที่สรุปเวลาได้ดีกว่า ลองนึกถึงวิดีโอ ชีวสัญญาณ หรือคำพูดระหว่างสมองกับคอมพิวเตอร์

สำหรับผู้เขียนนำ ดร. มิไฮ เปโตรวิชี ศักยภาพนั้นไปได้ทั้งสองทาง “งานของเราไม่เพียงแต่น่าสนใจสำหรับการประมวลผล neuromorphic และฮาร์ดแวร์ที่ได้รับแรงบันดาลใจทางชีววิทยาเท่านั้น นอกจากนี้ยังรับทราบถึงความต้องการ … ในการถ่ายโอนสิ่งที่เรียกว่าการเรียนรู้เชิงลึกไปสู่ประสาทวิทยาศาสตร์และด้วยเหตุนี้จึงเปิดเผยความลับของสมองมนุษย์ต่อไป” เขากล่าว กล่าวว่า.

มาคุยกันเถอะ

ที่รากของอัลกอริธึมใหม่เป็นหลักการพื้นฐานในการคำนวณสมอง: แหลม

ลองมาดูเซลล์ประสาทที่มีการแยกตัวสูงกัน มันเหมือนกับม้วนทูทซี่ที่มีส่วนตรงกลางเป็นกระเปาะขนาบข้างด้วยกระดาษห่อหุ้มสองอันที่ยื่นออกไปด้านนอก ด้านหนึ่งเป็นอินพุต—ต้นไม้ที่สลับซับซ้อนซึ่งรับสัญญาณจากเซลล์ประสาทก่อนหน้า อีกวิธีหนึ่งคือเอาต์พุต ซึ่งส่งสัญญาณไปยังเซลล์ประสาทอื่นๆ โดยใช้เรือที่มีลักษณะคล้ายฟองสบู่ซึ่งเต็มไปด้วยสารเคมี ซึ่งจะกระตุ้นการตอบสนองทางไฟฟ้าที่ส่วนรับ

นี่คือจุดสำคัญ: เพื่อให้ลำดับทั้งหมดนี้เกิดขึ้น เซลล์ประสาทต้อง "เพิ่มขึ้น" ถ้าและต่อเมื่อ เซลล์ประสาทได้รับอินพุตที่สูงเพียงพอ ซึ่งเป็นกลไกลดสัญญาณรบกวนที่อยู่ภายในอย่างดี ส่วนที่เป็นกระเปาะจะสร้างสไปค์ที่เคลื่อนไปตามช่องสัญญาณเอาต์พุตเพื่อเตือนเซลล์ประสาทถัดไป

แต่เซลล์ประสาทไม่ได้ใช้เพียงเข็มเดียวในการถ่ายทอดข้อมูล ค่อนข้างจะแหลมในลำดับเวลา คิดเหมือนรหัสมอร์ส: ช่วงเวลาที่ไฟฟ้าระเบิดเกิดขึ้นมีข้อมูลมากมาย เป็นพื้นฐานสำหรับการเชื่อมต่อเซลล์ประสาทในวงจรและลำดับชั้น ทำให้สามารถประมวลผลได้อย่างมีประสิทธิภาพด้านพลังงานสูง

เหตุใดจึงไม่ใช้กลยุทธ์เดียวกันนี้กับคอมพิวเตอร์ที่ใช้ระบบนิวโรมอร์ฟิค

ชิปที่เหมือนสมองสปาร์ตัน

แทนที่จะทำแผนที่เซลล์ประสาทเทียมเพียงเซลล์เดียว ซึ่งเป็นภารกิจที่ยากเย็นแสนเข็ญ ทีมงานกลับใช้ตัวชี้วัดเดียว นั่นคือ ใช้เวลานานเท่าใดกว่าที่เซลล์ประสาทจะยิง

แนวคิดเบื้องหลังโค้ด "time-to-first-spike" นั้นเรียบง่าย: ยิ่งเซลล์ประสาทใช้เวลานานเท่าใดในการขัดขวาง ระดับกิจกรรมก็จะยิ่งต่ำลงเท่านั้น เมื่อเทียบกับการนับเดือย มันเป็นวิธีที่เบาบางมากในการเข้ารหัสกิจกรรมของเซลล์ประสาท แต่มาพร้อมกับข้อดี เนื่องจากเฉพาะเวลาแฝงในครั้งแรกที่เซลล์ประสาทใช้การเข้ารหัสการเปิดใช้งาน จึงจับการตอบสนองของเซลล์ประสาทโดยไม่ทำให้คอมพิวเตอร์มีจุดข้อมูลมากเกินไป พูดอีกอย่างก็คือ มันเร็ว ประหยัดพลังงาน และง่าย

ต่อมา ทีมงานได้เข้ารหัสอัลกอริธึมบนชิปนิวโรมอร์ฟิค—the เบรนสเกลเอส-2ซึ่งจำลองอย่างคร่าวๆ "เซลล์ประสาท" ภายในโครงสร้าง แต่ทำงาน เร็วกว่า 1,000 เท่า มากกว่าสมองชีวภาพของเรา แพลตฟอร์มดังกล่าวมีเซลล์ประสาทเทียมทางกายภาพมากกว่า 500 เซลล์ โดยแต่ละเซลล์สามารถรับอินพุตได้ 256 รายการผ่านไซแนปส์ที่กำหนดค่าได้ ซึ่งเซลล์ประสาทชีวภาพจะแลกเปลี่ยน ประมวลผล และจัดเก็บข้อมูล

การตั้งค่าเป็นแบบไฮบริด “การเรียนรู้” ทำได้บนชิปที่ใช้อัลกอริธึมที่ขึ้นกับเวลา อย่างไรก็ตาม การอัปเดตใดๆ ของวงจรประสาท—นั่นคือ ความแรงของเซลล์ประสาทหนึ่งเชื่อมต่อกับอีกเซลล์หนึ่ง—ทำได้ผ่านเวิร์กสเตชันภายนอก ซึ่งเรียกว่า "การฝึกแบบวนซ้ำ"

ในการทดสอบครั้งแรก อัลกอริทึมถูกท้าทายด้วยงาน "หยินหยาง" ซึ่งต้องใช้อัลกอริทึมในการแยกวิเคราะห์พื้นที่ต่างๆ ในสัญลักษณ์ตะวันออกแบบดั้งเดิม อัลกอริธึมเป็นเลิศ โดยมีความแม่นยำเฉลี่ย 95 เปอร์เซ็นต์

ทีมต่อไปท้าทายการตั้งค่าด้วยงานการเรียนรู้เชิงลึกแบบคลาสสิก—สวพ.FMXNUMXชุดข้อมูลตัวเลขที่เขียนด้วยลายมือที่ปฏิวัติการมองเห็นของคอมพิวเตอร์ อัลกอริทึมนั้นยอดเยี่ยมอีกครั้งด้วยความแม่นยำเกือบ 97 เปอร์เซ็นต์ ที่น่าประทับใจยิ่งกว่านั้น ระบบ BrainScaleS-2 ใช้เวลาน้อยกว่าหนึ่งวินาทีในการจำแนกตัวอย่างทดสอบ 10,000 ตัวอย่าง โดยมีการใช้พลังงานสัมพัทธ์ต่ำมาก

เมื่อนำผลลัพธ์เหล่านี้มาสู่บริบท ทีมงานได้เปรียบเทียบประสิทธิภาพของ BrainScaleS-2 ซึ่งติดตั้งอัลกอริธึมใหม่กับแพลตฟอร์มเชิงพาณิชย์และ neuromorphic อื่นๆ เอามา SpinNakerซึ่งเป็นสถาปัตยกรรมแบบกระจายขนานขนาดใหญ่ที่เลียนแบบการคำนวณทางประสาทและการเพิ่มขึ้นอย่างรวดเร็ว อัลกอริธึมใหม่นี้สามารถจดจำภาพได้เร็วกว่า 100 เท่า ในขณะที่ใช้พลังงานเพียงเศษเสี้ยวของพลังงานที่ SpiNNaker ใช้ไป ผลลัพธ์ที่คล้ายคลึงกันนั้นพบได้ใน True North ซึ่งเป็นชิป neuromorphic ของ IBM ลางสังหรณ์

ทำอะไรต่อไป?

คุณสมบัติการประมวลผลที่มีค่าที่สุดของสมอง XNUMX อย่าง ได้แก่ ประสิทธิภาพด้านพลังงานและการประมวลผลแบบขนาน กำลังสร้างแรงบันดาลใจอย่างมากให้กับชิปคอมพิวเตอร์รุ่นต่อไป เป้าหมาย? สร้างเครื่องจักรที่ยืดหยุ่นและปรับเปลี่ยนได้เหมือนกับสมองของเรา โดยใช้พลังงานเพียงเศษเสี้ยวของพลังงานที่จำเป็นสำหรับชิปที่ใช้ซิลิกอนในปัจจุบันของเรา

เมื่อเทียบกับการเรียนรู้เชิงลึกซึ่งอาศัยโครงข่ายประสาทเทียม ส่วนหนึ่งของสิ่งนี้ Frenkel อธิบายว่าเป็นการยากที่จะ "อัปเดต" วงจรเหล่านี้ผ่านการเรียนรู้ อย่างไรก็ตาม ด้วย BrainScaleS-2 และข้อมูลเวลาเพียงเล็กน้อย ตอนนี้ก็เป็นไปได้

ในเวลาเดียวกัน การมีอนุญาโตตุลาการ "ภายนอก" สำหรับการอัปเดตการเชื่อมต่อ synaptic ทำให้ทั้งระบบมีเวลาหายใจ ฮาร์ดแวร์ Neuromorphic คล้ายกับความยุ่งเหยิงของการคำนวณในสมองของเรา ซึ่งเต็มไปด้วยความไม่ตรงกันและข้อผิดพลาด ด้วยชิปและอนุญาโตตุลาการภายนอก ทั้งระบบสามารถเรียนรู้ที่จะปรับให้เข้ากับความผันแปรนี้ และในที่สุดก็จะชดเชย หรือกระทั่งการหาประโยชน์จากนิสัยใจคอของมันเพื่อการเรียนรู้ที่รวดเร็วและยืดหยุ่นยิ่งขึ้น

สำหรับ Frenkel พลังของอัลกอริทึมอยู่ในความเบาบาง เธออธิบายว่าสมองนั้นขับเคลื่อนโดยรหัสที่เบาบางซึ่ง “สามารถอธิบายเวลาตอบสนองที่รวดเร็ว…เช่นสำหรับการประมวลผลด้วยภาพ” แทนที่จะเปิดใช้งานบริเวณสมองทั้งหมด จำเป็นต้องมีโครงข่ายประสาทเพียงไม่กี่โครงข่าย เช่น การขับรถไปตามทางหลวงที่ว่างเปล่า แทนที่จะต้องติดขัดในการจราจรในชั่วโมงเร่งด่วน

แม้จะมีพลังของมัน แต่อัลกอริธึมก็ยังมีอาการสะอึก มันมีปัญหากับการตีความข้อมูลคงที่ แม้ว่าจะเก่งเรื่องลำดับเวลา—เช่น คำพูดหรือ biosignals แต่สำหรับ Frenkel มันคือจุดเริ่มต้นของกรอบงานใหม่: ข้อมูลสำคัญสามารถเข้ารหัสด้วยตัวชี้วัดที่ยืดหยุ่นแต่เรียบง่าย และปรับให้เป็นภาพรวมเพื่อเสริมสร้างการประมวลผลข้อมูลบนสมองและ AI ด้วยต้นทุนพลังงานเพียงเล็กน้อย

“[มัน]…อาจเป็นก้าวย่างที่สำคัญสำหรับการเพิ่มฮาร์ดแวร์ neuromorphic เพื่อแสดงให้เห็นถึงความได้เปรียบทางการแข่งขันเหนือแนวทางโครงข่ายประสาทเทียมแบบเดิม” เธอกล่าว

เครดิตรูปภาพ: การจำแนกจุดข้อมูลในชุดข้อมูล Yin-Yang โดย Göltz และ Kriener et al (ไฮเดลเบิร์ก / เบิร์น)

ที่มา: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/