แกะกล่อง "กล่องดำ" เพื่อสร้างโมเดล AI ที่ดียิ่งขึ้น

เมื่อมีการปรับใช้โมเดลการเรียนรู้เชิงลึกในโลกแห่งความเป็นจริง บางทีเพื่อตรวจหาการฉ้อฉลทางการเงินจากกิจกรรมบัตรเครดิตหรือระบุมะเร็งในภาพทางการแพทย์ มักจะมีประสิทธิภาพดีกว่ามนุษย์

แต่โมเดลการเรียนรู้เชิงลึกเหล่านี้เรียนรู้อะไรกันแน่ แบบจำลองได้รับการฝึกฝนให้ระบุมะเร็งผิวหนังในภาพทางคลินิกหรือไม่ ตัวอย่างเช่น เรียนรู้สีและพื้นผิวของเนื้อเยื่อมะเร็งจริงหรือไม่ หรือมีการทำเครื่องหมายลักษณะหรือรูปแบบอื่นๆ บางอย่างหรือไม่

โมเดลแมชชีนเลิร์นนิงที่ทรงพลังเหล่านี้มักอิงตาม โครงข่ายประสาทเทียม ที่สามารถมีโหนดนับล้านที่ประมวลผลข้อมูลเพื่อทำการทำนาย เนื่องจากความซับซ้อน นักวิจัยมักเรียกโมเดลเหล่านี้ว่า "กล่องดำ" เพราะแม้แต่นักวิทยาศาสตร์ที่สร้างมันขึ้นมาก็ยังไม่เข้าใจทุกสิ่งที่เกิดขึ้นภายใต้ประทุน

Stefanie Jegelka ไม่พอใจกับคำอธิบาย "กล่องดำ" Jegelka รองศาสตราจารย์ที่เพิ่งดำรงตำแหน่งใหม่ในภาควิชาวิศวกรรมไฟฟ้าและวิทยาการคอมพิวเตอร์ของ MIT กำลังศึกษาลึกลงไปในการเรียนรู้เชิงลึกเพื่อทำความเข้าใจว่าโมเดลเหล่านี้สามารถเรียนรู้อะไรได้บ้างและทำงานอย่างไร และวิธีการสร้างข้อมูลก่อนหน้าบางอย่างลงในโมเดลเหล่านี้

“ท้ายที่สุด สิ่งที่โมเดลการเรียนรู้เชิงลึกจะเรียนรู้นั้นขึ้นอยู่กับปัจจัยหลายอย่าง แต่การสร้างความเข้าใจที่เกี่ยวข้องในทางปฏิบัติจะช่วยให้เราออกแบบโมเดลได้ดีขึ้น และยังช่วยให้เราเข้าใจว่าเกิดอะไรขึ้นภายในโมเดลเหล่านี้ ดังนั้นเราจึงรู้ว่าเมื่อใดที่เราสามารถนำโมเดลไปใช้ได้และเมื่อใดที่เราทำไม่ได้ นั่นเป็นสิ่งสำคัญอย่างยิ่ง” Jegelka ซึ่งเป็นสมาชิกของ Computer Science and Artificial Intelligence Laboratory (CSAIL) และ Institute for Data, Systems and Society (IDSS) กล่าว

Jegelka สนใจเป็นพิเศษในการเพิ่มประสิทธิภาพโมเดลแมชชีนเลิร์นนิงเมื่อข้อมูลอินพุตอยู่ในรูปแบบของกราฟ ข้อมูลกราฟก่อให้เกิดความท้าทายที่เฉพาะเจาะจง ตัวอย่างเช่น ข้อมูลในข้อมูลประกอบด้วยทั้งข้อมูลเกี่ยวกับแต่ละโหนดและเอดจ์ ตลอดจนโครงสร้าง — สิ่งที่เชื่อมโยงกับอะไร นอกจากนี้ กราฟยังมีความสมมาตรทางคณิตศาสตร์ที่ต้องได้รับการเคารพโดยโมเดลแมชชีนเลิร์นนิง ตัวอย่างเช่น กราฟเดียวกันจะนำไปสู่การทำนายเดียวกันเสมอ การสร้างสมมาตรดังกล่าวให้เป็นโมเดลการเรียนรู้ของเครื่องมักจะไม่ง่าย

ยกตัวอย่างเช่น โมเลกุล โมเลกุลสามารถแสดงเป็นกราฟ โดยมีจุดยอดที่สอดคล้องกับอะตอมและขอบที่สอดคล้องกับพันธะเคมีระหว่างกัน บริษัทยาอาจต้องการใช้การเรียนรู้เชิงลึกเพื่อทำนายคุณสมบัติของโมเลกุลจำนวนมากอย่างรวดเร็ว โดยจำกัดจำนวนที่ต้องทดสอบทางร่างกายในห้องปฏิบัติการให้แคบลง

Jegelka ศึกษาวิธีการสร้างแบบจำลองการเรียนรู้ของเครื่องทางคณิตศาสตร์ที่สามารถรับข้อมูลกราฟเป็นอินพุตและเอาต์พุตอย่างอื่นได้อย่างมีประสิทธิภาพ ในกรณีนี้เป็นการทำนายคุณสมบัติทางเคมีของโมเลกุล สิ่งนี้เป็นสิ่งที่ท้าทายอย่างยิ่งเนื่องจากคุณสมบัติของโมเลกุลไม่ได้ถูกกำหนดโดยอะตอมภายในเท่านั้น แต่ยังพิจารณาจากการเชื่อมต่อระหว่างพวกมันด้วย  

ตัวอย่างอื่นๆ ของแมชชีนเลิร์นนิงบนกราฟ ได้แก่ การกำหนดเส้นทางการรับส่งข้อมูล การออกแบบชิป และระบบผู้แนะนำ

การออกแบบโมเดลเหล่านี้ทำได้ยากยิ่งขึ้น เนื่องจากข้อเท็จจริงที่ว่าข้อมูลที่ใช้ในการฝึกโมเดลเหล่านี้มักจะแตกต่างจากข้อมูลที่โมเดลเห็นในทางปฏิบัติ บางทีแบบจำลองอาจได้รับการฝึกฝนโดยใช้กราฟโมเลกุลขนาดเล็กหรือเครือข่ายการรับส่งข้อมูล แต่กราฟที่เห็นเมื่อปรับใช้มีขนาดใหญ่กว่าหรือซับซ้อนกว่า

ในกรณีนี้ นักวิจัยคาดหวังให้แบบจำลองนี้เรียนรู้อะไร และจะยังคงใช้งานได้จริงหรือไม่หากข้อมูลในโลกแห่งความเป็นจริงแตกต่างกัน

“แบบจำลองของคุณจะไม่สามารถเรียนรู้ทุกอย่างได้เนื่องจากปัญหาความแข็งบางอย่างในวิทยาการคอมพิวเตอร์ แต่สิ่งที่คุณสามารถเรียนรู้และสิ่งที่คุณไม่สามารถเรียนรู้ได้นั้นขึ้นอยู่กับวิธีที่คุณตั้งค่าแบบจำลอง” Jegelka กล่าว

เธอเข้าใกล้คำถามนี้โดยผสมผสานความหลงใหลในอัลกอริธึมและคณิตศาสตร์แยกส่วนเข้ากับความตื่นเต้นในการเรียนรู้ของเครื่อง

จากผีเสื้อสู่ชีวสารสนเทศ

Jegelka เติบโตในเมืองเล็กๆ ในประเทศเยอรมนี และเริ่มสนใจวิทยาศาสตร์เมื่อตอนที่เธอยังเป็นนักเรียนมัธยมปลาย ครูที่ให้การสนับสนุนสนับสนุนให้เธอเข้าร่วมการแข่งขันวิทยาศาสตร์ระดับนานาชาติ เธอและเพื่อนร่วมทีมจากสหรัฐอเมริกาและสิงคโปร์ได้รับรางวัลสำหรับเว็บไซต์ที่พวกเขาสร้างเกี่ยวกับผีเสื้อในสามภาษา

“สำหรับโครงการของเรา เราถ่ายภาพปีกด้วยกล้องจุลทรรศน์อิเล็กตรอนแบบส่องกราดที่มหาวิทยาลัยวิทยาศาสตร์ประยุกต์ในท้องถิ่น ฉันยังมีโอกาสใช้กล้องความเร็วสูงที่รถ Mercedes Benz ซึ่งปกติแล้วกล้องนี้จะถ่ายเครื่องยนต์สันดาป ซึ่งฉันใช้ถ่ายวิดีโอการเคลื่อนไหวปีกผีเสื้อแบบสโลว์โมชั่น นั่นเป็นครั้งแรกที่ฉันได้สัมผัสกับวิทยาศาสตร์และการสำรวจอย่างแท้จริง” เธอเล่า

ด้วยความสนใจทั้งทางชีววิทยาและคณิตศาสตร์ Jegelka จึงตัดสินใจเรียนสาขาชีวสารสนเทศศาสตร์ที่มหาวิทยาลัย Tübingen และมหาวิทยาลัยเทกซัสที่ออสติน เธอมีโอกาสไม่กี่ครั้งที่จะทำการวิจัยในฐานะนักศึกษาระดับปริญญาตรี รวมถึงการฝึกงานด้านประสาทวิทยาการคำนวณที่มหาวิทยาลัยจอร์จทาวน์ แต่ไม่แน่ใจว่าจะประกอบอาชีพอะไร

เมื่อเธอกลับมาเรียนปีสุดท้ายของวิทยาลัย Jegelka ย้ายไปอยู่กับเพื่อนร่วมห้องสองคนซึ่งทำงานเป็นผู้ช่วยวิจัยที่ Max Planck Institute ใน Tübingen

“พวกเขากำลังทำงานเกี่ยวกับแมชชีนเลิร์นนิง และนั่นฟังดูดีมากสำหรับฉัน ฉันต้องเขียนวิทยานิพนธ์ปริญญาตรี ฉันเลยถามทางสถาบันว่ามีโปรเจ็กต์ให้ฉันไหม ฉันเริ่มทำงานเกี่ยวกับแมชชีนเลิร์นนิงที่สถาบันมักซ์พลังค์ และฉันก็ชอบมันมาก ฉันได้เรียนรู้มากมายที่นั่น และเป็นสถานที่ที่ยอดเยี่ยมสำหรับการวิจัย” เธอกล่าว

เธออยู่ที่สถาบันมักซ์พลังค์เพื่อทำวิทยานิพนธ์ระดับปริญญาโท จากนั้นจึงเข้าศึกษาระดับปริญญาเอกด้านแมชชีนเลิร์นนิงที่สถาบันมักซ์พลังค์และสถาบันเทคโนโลยีแห่งสหพันธรัฐสวิส.

ระหว่างเรียนปริญญาเอก เธอสำรวจว่าแนวคิดจากคณิตศาสตร์แยกส่วนสามารถช่วยปรับปรุงเทคนิคการเรียนรู้ของเครื่องได้อย่างไร

การสอนแบบให้เรียนรู้

ยิ่ง Jegelka เรียนรู้เกี่ยวกับแมชชีนเลิร์นนิงมากเท่าไหร่ เธอก็ยิ่งรู้สึกทึ่งกับความท้าทายในการทำความเข้าใจพฤติกรรมของนางแบบ และวิธีควบคุมพฤติกรรมนี้

“คุณสามารถทำอะไรได้หลายอย่างด้วยแมชชีนเลิร์นนิง แต่ถ้าคุณมีโมเดลและข้อมูลที่เหมาะสมเท่านั้น ไม่ใช่แค่สิ่งที่เป็นกล่องดำที่คุณใส่ข้อมูลและใช้งานได้ คุณต้องคิดเกี่ยวกับมัน คุณสมบัติของมัน และสิ่งที่คุณต้องการให้โมเดลเรียนรู้และทำ” เธอกล่าว

หลังจากจบปริญญาเอกที่ University of California at Berkeley แล้ว Jegelka ก็สนใจงานวิจัยและตัดสินใจประกอบอาชีพด้านวิชาการ เธอเข้าร่วมคณะที่ MIT ในปี 2015 ในตำแหน่งผู้ช่วยศาสตราจารย์

“สิ่งที่ฉันชอบเกี่ยวกับ MIT ตั้งแต่แรกเริ่มก็คือผู้คนให้ความสนใจอย่างมากเกี่ยวกับการวิจัยและความคิดสร้างสรรค์ นั่นคือสิ่งที่ฉันชื่นชมมากที่สุดเกี่ยวกับ MIT ผู้คนที่นี่ให้ความสำคัญกับความคิดริเริ่มและความลึกซึ้งในการค้นคว้า” เธอกล่าว

การมุ่งเน้นที่ความคิดสร้างสรรค์ทำให้ Jegelka สามารถสำรวจหัวข้อต่างๆ ได้หลากหลาย

เธอศึกษาการประยุกต์ใช้แมชชีนเลิร์นนิงในชีววิทยา การสร้างภาพ คอมพิวเตอร์วิทัศน์ และวัสดุศาสตร์ โดยร่วมมือกับคณะอื่นๆ ที่ MIT

แต่สิ่งที่ขับเคลื่อน Jegelka อย่างแท้จริงคือการตรวจสอบพื้นฐานของแมชชีนเลิร์นนิง และล่าสุดคือประเด็นเรื่องความทนทาน บ่อยครั้งที่โมเดลทำงานได้ดีกับข้อมูลการฝึกอบรม แต่ประสิทธิภาพจะลดลงเมื่อปรับใช้กับข้อมูลที่แตกต่างกันเล็กน้อย การสร้างความรู้เดิมให้เป็นแบบจำลองจะทำให้มีความน่าเชื่อถือมากขึ้น แต่การทำความเข้าใจว่าข้อมูลใดที่แบบจำลองต้องการเพื่อให้ประสบความสำเร็จและวิธีการสร้างแบบจำลองนั้นไม่ใช่เรื่องง่าย เธอกล่าว

เธอยังสำรวจวิธีการปรับปรุงประสิทธิภาพของโมเดลแมชชีนเลิร์นนิงสำหรับการจัดหมวดหมู่ภาพ

รูปแบบการจำแนกรูปภาพมีอยู่ทุกที่ ตั้งแต่ระบบการจดจำใบหน้าบนโทรศัพท์มือถือไปจนถึงเครื่องมือที่ใช้ระบุบัญชีปลอมบนโซเชียลมีเดีย โมเดลเหล่านี้ต้องการข้อมูลจำนวนมหาศาลสำหรับการฝึกอบรม แต่เนื่องจากมีราคาแพงสำหรับมนุษย์ในการติดป้ายรูปภาพหลายล้านภาพด้วยมือ นักวิจัยจึงมักใช้ชุดข้อมูลที่ไม่มีป้ายกำกับในการฝึกโมเดลล่วงหน้าแทน

จากนั้นโมเดลเหล่านี้จะนำการแทนค่าที่ได้เรียนรู้มาใช้ซ้ำเมื่อปรับแต่งในภายหลังสำหรับงานเฉพาะ

ตามหลักการแล้ว นักวิจัยต้องการให้โมเดลเรียนรู้มากที่สุดเท่าที่จะเป็นไปได้ในระหว่างการเตรียมการล่วงหน้า เพื่อให้สามารถนำความรู้นั้นไปใช้ในงานขั้นปลายได้ แต่ในทางปฏิบัติ โมเดลเหล่านี้มักจะเรียนรู้ความสัมพันธ์ง่ายๆ เพียงไม่กี่อย่าง เช่น ภาพหนึ่งมีแสงแดดและอีกภาพหนึ่งมีร่มเงา และใช้ "ทางลัด" เหล่านี้เพื่อจำแนกภาพ

“เราแสดงให้เห็นว่านี่เป็นปัญหาใน 'การเรียนรู้เชิงเปรียบเทียบ' ซึ่งเป็นเทคนิคมาตรฐานสำหรับการฝึกอบรมล่วงหน้า ทั้งในเชิงทฤษฎีและในเชิงประจักษ์ แต่เรายังแสดงให้เห็นว่าคุณสามารถมีอิทธิพลต่อประเภทของข้อมูลที่ตัวแบบจะเรียนรู้เพื่อแสดงโดยการปรับเปลี่ยนประเภทข้อมูลที่คุณแสดงตัวแบบ นี่เป็นขั้นตอนหนึ่งในการทำความเข้าใจว่าแบบจำลองใดที่จะนำไปปฏิบัติจริง” เธอกล่าว

นักวิจัยยังไม่เข้าใจทุกอย่างที่เกิดขึ้นในโมเดลการเรียนรู้เชิงลึก หรือรายละเอียดเกี่ยวกับวิธีที่พวกเขาสามารถมีอิทธิพลต่อสิ่งที่โมเดลเรียนรู้และพฤติกรรมของมัน แต่ Jegelka รอคอยที่จะสำรวจหัวข้อเหล่านี้ต่อไป

“บ่อยครั้งในแมชชีนเลิร์นนิง เราเห็นบางอย่างเกิดขึ้นในทางปฏิบัติ และเราพยายามเข้าใจมันในทางทฤษฎี นี่เป็นความท้าทายที่ยิ่งใหญ่ คุณต้องการสร้างความเข้าใจที่ตรงกับสิ่งที่คุณเห็นในทางปฏิบัติ เพื่อให้คุณทำได้ดีขึ้น เรายังเพิ่งเริ่มทำความเข้าใจเรื่องนี้” เธอกล่าว

นอกห้องทดลอง Jegelka เป็นแฟนตัวยงของดนตรี ศิลปะ การเดินทาง และการขี่จักรยาน แต่ทุกวันนี้เธอชอบใช้เวลาว่างส่วนใหญ่กับลูกสาววัยก่อนเรียน

<!–
->

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าถึงได้ที่นี่.
• ที่มา: https://blockchainconsultants.io/unpacking-the-black-box-to-build-better-ai-models/?utm_source=rss&utm_medium=rss&utm_campaign=unpacking-the-black-box-to-build-better-ai-models