ประวัติโดยย่อของ Generative AI - DATAVERSITY

ประวัติโดยย่อของ Generative AI – DATAVERSITY

ประทับเวลา: 5 มีนาคม 2024 3:35 น
โหนดต้นทาง: 2505169
AI กำเนิดAI กำเนิด
Ole.CNX / Shutterstock

Generative AI มีประวัติค่อนข้างสั้น โดยเทคโนโลยีนี้เปิดตัวครั้งแรกในช่วงทศวรรษ 1960 ในรูปแบบของแชทบอท มันเป็นรูปแบบหนึ่งของปัญญาประดิษฐ์ที่ปัจจุบันสามารถสร้างข้อความ รูปภาพ วิดีโอ เสียง และข้อมูลสังเคราะห์คุณภาพสูงได้ภายในไม่กี่วินาที อย่างไรก็ตาม จนกระทั่งปี 2014 เมื่อมีการเปิดตัวแนวคิดของเครือข่ายปฏิปักษ์เชิงสร้างสรรค์ (GAN) AI เชิงสร้างสรรค์นั้นก็ได้พัฒนาไปจนถึงจุดที่สามารถสร้างภาพ วิดีโอ และเสียงที่ดูเหมือนเป็นการบันทึกจริงของคนจริงๆ

ปัจจุบัน generative AI เป็นองค์ประกอบหลักของ ChatGPT และรูปแบบต่างๆ ของมัน

1950s

เจเนอเรชั่นเอไอมีพื้นฐานมาจาก เรียนรู้เครื่อง และอัลกอริธึมการเรียนรู้เชิงลึก อัลกอริธึมการเรียนรู้ของเครื่องตัวแรกได้รับการพัฒนาโดย Arthur Samuel ในปี 1952 สำหรับการเล่นหมากฮอส และเขายังเกิดวลีที่ว่า "การเรียนรู้ของเครื่อง" ด้วย

เรียกว่า "โครงข่ายประสาทเทียม" แรกที่สามารถฝึกได้ เพอร์เซปตรอนและได้รับการพัฒนาในปี 1957 โดยนักจิตวิทยามหาวิทยาลัย Cornell, Frank Rosenblatt การออกแบบของ Perceptron นั้นคล้ายคลึงกับโครงข่ายประสาทเทียมสมัยใหม่มาก แต่มีเพียงเลเยอร์ "เดียว" เท่านั้นที่มีเกณฑ์และน้ำหนักที่ปรับได้ ซึ่งแยกเลเยอร์อินพุตและเอาท์พุต ระบบนี้ล้มเหลวเนื่องจากใช้เวลานานเกินไป

ช่วงทศวรรษที่ 1960 และ 1970

ตัวอย่างทางประวัติศาสตร์แรกของ generative AI เรียกว่า ELIZA นอกจากนี้ยังถือได้ว่าเป็น Chatbot เวอร์ชันแรกๆ อีกด้วย สร้างขึ้นในปี 1961 โดย Joseph Weizenbaum เอไลซา เป็นโปรแกรมคอมพิวเตอร์พูดได้ที่จะตอบสนองต่อมนุษย์โดยใช้ภาษาธรรมชาติและการตอบสนองที่ออกแบบมาเพื่อให้ฟังดูเห็นอกเห็นใจ

ในช่วงทศวรรษที่ 1960 และ 70 ได้มีการดำเนินการวิจัยรากฐานสำหรับคอมพิวเตอร์วิทัศน์และรูปแบบการจดจำพื้นฐานบางประการ การจดจำใบหน้าก้าวหน้าไปอย่างมากเมื่อ Ann B. Lesk, Leon D. Harmon และ AJ Goldstein เพิ่มความแม่นยำขึ้นอย่างมาก (ปฏิสัมพันธ์ระหว่างมนุษย์กับเครื่องจักรในการระบุตัวตนระหว่างมนุษย์และใบหน้า, 1972) ทีมงานได้พัฒนาเครื่องหมายเฉพาะ 21 ชิ้น ซึ่งรวมถึงคุณลักษณะต่างๆ เช่น ความหนาของริมฝีปากและสีผม เพื่อระบุใบหน้าโดยอัตโนมัติ 

ในคริสต์ทศวรรษ 1970 Seppo Linnainmaa เริ่มใช้การขยายพันธุ์แบบย้อนกลับ คำว่า “การขยายพันธุ์หลัง” เป็นกระบวนการเผยแพร่ข้อผิดพลาดแบบย้อนกลับซึ่งเป็นส่วนหนึ่งของกระบวนการเรียนรู้ ขั้นตอนที่เกี่ยวข้องคือ:

  1. ประมวลผลในส่วนท้ายของเอาต์พุต
  2. ส่งไปแจกจ่ายย้อนหลังครับ 
  3. ย้ายผ่านเลเยอร์ของเครือข่ายเพื่อการฝึกอบรมและการเรียนรู้ 

(Backpropagation ใช้ในการฝึกโครงข่ายประสาทเทียมระดับลึก) 

AI Winter ครั้งแรกแยกการเรียนรู้ของเครื่องและปัญญาประดิษฐ์ออกจากกัน

AI ฤดูหนาวครั้งแรก เริ่มต้นและสิ้นสุด ประมาณปี พ.ศ. 1973 ถึง พ.ศ. 1979 มีการให้คำมั่นสัญญาไว้ แต่ไม่ได้รักษาความคาดหวัง หน่วยงานที่ให้ทุนสนับสนุนการวิจัยด้านปัญญาประดิษฐ์ (Darpa, NRC และรัฐบาลอังกฤษ) รู้สึกอับอายทันทีที่ขาดความเคลื่อนไหวไปข้างหน้าในการพัฒนา 

อย่างไรก็ตาม แมชชีนเลิร์นนิง (ML) ยังคงมีการพัฒนาอย่างต่อเนื่อง ไม่ใช่เพราะยังคงได้รับเงินทุนจากรัฐบาล แต่เป็นเพราะแมชชีนเลิร์นนิงกลายเป็นเครื่องมือตอบสนองที่มีประโยชน์อย่างยิ่งต่อธุรกิจ การเรียนรู้เครื่อง เริ่มเป็นเทคนิคการฝึก AI แต่พบว่าสามารถนำไปใช้ทำงานง่ายๆ ได้ด้วย เช่น รับสาย โอนสายให้บุคคลที่เหมาะสม แม้ว่าโปรแกรม ML อาจไม่สามารถดำเนินการสนทนาอย่างชาญฉลาดได้ แต่ก็สามารถทำงานพื้นฐานแต่มีประโยชน์มากได้ ธุรกิจต่างๆ ไม่สนใจที่จะละทิ้งเครื่องมือที่ทั้งคุ้มค่าและมีประโยชน์

ธุรกิจต่างๆ เลือกที่จะให้ทุนสนับสนุนการวิจัยของตนเองเพื่อการพัฒนาการเรียนรู้ของเครื่อง และอดีตนักวิจัยได้จัดโครงสร้างตัวเองใหม่เป็นอุตสาหกรรมที่แยกจากกัน จนกระทั่งรวมเข้ากับ AI อีกครั้งในทศวรรษ 1990

แม้ว่าโครงข่ายประสาทเทียมจะถูกเสนอในปี พ.ศ. 1944 โดยนักวิจัยจากมหาวิทยาลัยชิคาโกสองคน ได้แก่ วอร์เรน แม็กคัลล็อก และวอลเตอร์ พิตต์ ซึ่งเป็นโครงข่ายประสาทเทียมแบบ "หลายชั้น" ที่ทำงานได้ตัวแรก ค็อกไนตรอน, ได้รับการพัฒนาในปี 1975 โดย Kunihiko Fukushima

โครงข่ายประสาทเทียมวางรากฐานสำหรับการใช้การเรียนรู้ของเครื่องและการเรียนรู้เชิงลึก การออกแบบรองรับเลเยอร์อินพุตและเอาท์พุต และเลเยอร์ที่ซ่อนอยู่ระหว่างเลเยอร์เหล่านั้นจะถูกใช้เพื่อแปลงข้อมูลอินพุต ทำให้มีประโยชน์กับเลเยอร์เอาท์พุต ด้วยการออกแบบใหม่นี้ การจดจำใบหน้าและคำพูดจึงได้รับการปรับปรุงอย่างมาก เลเยอร์ที่ซ่อนอยู่ยังเป็นรากฐานสำหรับการเรียนรู้เชิงลึกอีกด้วย

ใน 1979, คุนฮิโกะ ฟุกุชิมะ แนะนำให้พัฒนาโครงข่ายประสาทเทียมหลายชั้นแบบลำดับชั้นที่เขาตั้งชื่อ นีโอโกนิตรอน. นี่เป็นเครือข่ายประสาทการเรียนรู้เชิงลึกแห่งแรก การออกแบบของเขาสนับสนุนความสามารถของคอมพิวเตอร์ในการเรียนรู้วิธีระบุรูปแบบการมองเห็น และโดยเฉพาะอย่างยิ่ง การรู้จำอักขระที่เขียนด้วยลายมือ การออกแบบของเขายังช่วยให้สามารถปรับข้อมูลสำคัญได้ด้วยตนเอง ช่วยให้มนุษย์เพิ่ม "น้ำหนัก" ของการเชื่อมต่อบางอย่างได้

ทศวรรษที่ 1980 และฤดูหนาว AI ครั้งที่สอง

ในปี 1982 มีการค้นพบอีกครั้งโดย John Hopfield ผู้พัฒนาโครงข่ายประสาทเทียมรูปแบบใหม่ - ตาข่ายฮอปฟิลด์ – ใช้แนวทางที่แตกต่างไปจากเดิมอย่างสิ้นเชิง ตาข่ายฮอปฟิลด์รวบรวมและเรียกค้นความทรงจำเหมือนกับที่สมองมนุษย์ทำมากกว่าระบบก่อนหน้านี้

อย่างไรก็ตาม ฤดูหนาว AI ครั้งที่สองเริ่มต้นประมาณปี 1984 และดำเนินต่อไปจนถึงปี 1990 และทำให้การพัฒนาปัญญาประดิษฐ์ช้าลง เช่นเดียวกับ generative AI ความโกรธและความคับข้องใจกับคำสัญญาที่ผิดและความคาดหวังที่พังทลายนั้นรุนแรงมาก คำว่า "ปัญญาประดิษฐ์" จึงกลายเป็นสถานะหลอก และมักถูกพูดถึงด้วยความดูถูก ความรู้สึกสงสัยในวงกว้างได้พัฒนาเกี่ยวกับ AI น่าเสียดายที่เงินทุนถูกตัดสำหรับการวิจัยด้าน AI และการเรียนรู้เชิงลึกเป็นส่วนใหญ่

ในปี 1986 David Rumelhart และทีมงานของเขาได้แนะนำ วิธีการใหม่ ของการฝึกอบรมโครงข่ายประสาทเทียมโดยใช้เทคนิค backpropagation ที่พัฒนาขึ้นในปี 1970

ในช่วงปลายทศวรรษ 1980 MOS (สารกึ่งตัวนำโลหะออกไซด์) ซึ่งพัฒนาในปี 1959) ถูกรวมเข้ากับ VLSI (การบูรณาการในขนาดที่ใหญ่มาก) และจัดให้มีเครือข่ายประสาทเทียมที่ใช้งานได้จริงและมีประสิทธิภาพมากขึ้น ชุดค่าผสมนี้เรียกว่าก MOS เสริม (หรือ CMOS)

การเรียนรู้เชิงลึกกลายมาเป็นความเป็นจริงในปี 1989 เมื่อ Yann LeCun และทีมของเขาใช้อัลกอริธึมการเผยแพร่กลับด้วยโครงข่ายประสาทเทียมเพื่อจดจำรหัสไปรษณีย์ที่เขียนด้วยลายมือ

เรียนรู้อย่างลึกซึ้ง ใช้อัลกอริธึมในการประมวลผลข้อมูลและเลียนแบบกระบวนการคิดของมนุษย์ ใช้อัลกอริธึมหลายชั้นที่ออกแบบมาเพื่อประมวลผลข้อมูล จดจำวัตถุด้วยสายตา และเข้าใจคำพูดของมนุษย์ ข้อมูลจะเคลื่อนที่ผ่านแต่ละเลเยอร์ โดยเอาต์พุตจากเลเยอร์ก่อนหน้าจะแสดงอินพุตที่จำเป็นสำหรับเลเยอร์ถัดไป ในการเรียนรู้เชิงลึก เลเยอร์เพิ่มเติมที่ใช้จะให้ "นามธรรม" ในระดับที่สูงกว่า ทำให้คาดการณ์ได้ดีขึ้นและจำแนกประเภทได้ดีขึ้น ยิ่งใช้เลเยอร์มากเท่าไร ก็ยิ่งมีโอกาสคาดการณ์ได้ดีขึ้นเท่านั้น 

การเรียนรู้เชิงลึกกลายเป็นกระบวนการฝึกอบรมที่มีประโยชน์อย่างยิ่ง รองรับการจดจำรูปภาพ การจดจำเสียง และการประมวลผลข้อมูลจำนวนมหาศาล

ทศวรรษ 1990 และการวิจัย AI กลับมาอีกครั้ง

เนื่องจากการระดมทุนสำหรับปัญญาประดิษฐ์เริ่มต้นขึ้นอีกครั้งในทศวรรษ 1990 การเรียนรู้ของเครื่องจึงได้รับเงินทุนในฐานะกลไกการฝึกอบรมเช่นกัน อุตสาหกรรมแมชชีนเลิร์นนิงยังคงค้นคว้าโครงข่ายประสาทเทียมอย่างต่อเนื่องตลอดช่วงฤดูหนาว AI ครั้งที่สอง และเริ่มเจริญรุ่งเรืองในช่วงทศวรรษ 1990 ความสำเร็จอย่างต่อเนื่องของแมชชีนเลิร์นนิงส่วนใหญ่คือการใช้การรู้จำอักขระและการรู้จำเสียง รวมกับการเติบโตอย่างล้นหลามของอินเทอร์เน็ตและการใช้คอมพิวเตอร์ส่วนบุคคล

แนวคิดเรื่อง "การส่งเสริม" มีการแบ่งปันกันในปี 1990 ในรายงานฉบับนี้ จุดแข็งของความสามารถในการเรียนรู้ที่อ่อนแอ, โดย โรเบิร์ต ชาไปร์. เขาอธิบายว่ากลุ่มผู้เรียนที่อ่อนแอสามารถสร้างผู้เรียนที่แข็งแกร่งเพียงกลุ่มเดียวได้ เร่งอัลกอริทึม ลดอคติในระหว่างกระบวนการเรียนรู้แบบมีผู้สอน และรวมถึงอัลกอริธึมการเรียนรู้ของเครื่องที่สามารถเปลี่ยนผู้เรียนที่อ่อนแอหลายคนให้เป็นผู้เรียนที่แข็งแกร่งเพียงไม่กี่คนได้ (ผู้เรียนที่อ่อนแอคาดการณ์ได้ถูกต้องมากกว่า 50% ของเวลาทั้งหมด) 

อุตสาหกรรมเกมคอมพิวเตอร์สมควรได้รับเครดิตจำนวนมากสำหรับการช่วยในการพัฒนา AI เชิงสร้างสรรค์ กราฟิกการ์ด 3 มิติซึ่งเป็นสารตั้งต้นของหน่วยประมวลผลกราฟิก (GPU) เปิดตัวครั้งแรกในช่วงต้นทศวรรษ 1990 เพื่อปรับปรุงการนำเสนอกราฟิกในวิดีโอเกม 

ในปี 1997 Juergen Schmidhuber และ Sepp Hochreiter ได้สร้าง "ความจำระยะสั้นระยะยาว” (LSTM ) เพื่อใช้กับโครงข่ายประสาทที่เกิดซ้ำ ปัจจุบันการฝึกอบรมการรู้จำเสียงส่วนใหญ่ใช้เทคนิคนี้ LSTM รองรับงานการเรียนรู้ที่ต้องใช้หน่วยความจำที่ครอบคลุมเหตุการณ์หลายพันขั้นตอนก่อนหน้านี้ และมักจะมีความสำคัญในระหว่างการสนทนา

Nvidia (รับผิดชอบความก้าวหน้าทางเทคโนโลยีเกมมากมาย) พัฒนา GPU ขั้นสูงในปี 1999 โดยมีความเร็วในการคำนวณเพิ่มขึ้นหนึ่งพัน GPU ตัวแรกของพวกเขาถูกเรียกว่า GeForce 256. 

เป็นเรื่องที่น่าประหลาดใจที่ GPU สามารถใช้งานได้มากกว่าวิดีโอเกม GPU ใหม่ถูกนำไปใช้กับโครงข่ายประสาทเทียม ซึ่งให้ผลลัพธ์ที่เป็นบวกอย่างน่าอัศจรรย์ GPUs ค่อนข้างมีประโยชน์ในการเรียนรู้ของเครื่อง โดยใช้จำนวนโปรเซสเซอร์ต่อชิปประมาณ 200 เท่า เมื่อเทียบกับหน่วยประมวลผลกลาง (หน่วยประมวลผลกลางหรือ CPU จะมีความยืดหยุ่นมากกว่า และทำการเลือกการคำนวณได้กว้างกว่า ในขณะที่ GPU มักจะได้รับการปรับแต่งให้เหมาะกับกรณีการใช้งานเฉพาะ)

2000s

การแข่งขัน Face Recognition Grand Challenge ก โปรโมชั่นเพื่อปรับปรุง เทคโนโลยีการจดจำใบหน้าได้รับทุนจากรัฐบาลสหรัฐอเมริกาและเกิดขึ้นตั้งแต่ปี 2004 และ 2006 ส่งผลให้เกิดเทคนิคการจดจำใบหน้าใหม่และประสิทธิภาพการจดจำใบหน้า อัลกอริธึมที่พัฒนาขึ้นใหม่มีความแม่นยำมากกว่าอัลกอริธึมการจดจำใบหน้าที่ใช้ในปี 2002 ถึงสิบเท่า อัลกอริธึมบางตัวสามารถระบุความแตกต่างระหว่างฝาแฝดที่เหมือนกันได้

ยุค 2010 และผู้ช่วยเสมือนและแชทบอท

เมื่อวันที่ 4 ต.ค. 2011 สิริซึ่งเป็นผู้ช่วยเสมือนดิจิทัลเครื่องแรกที่ถือว่าใช้งานได้จริง โดยมาพร้อมกับ iPhone 4S การใช้งานของ chatbots เพิ่มขึ้นอย่างมีนัยสำคัญเช่นกัน 

ในปี 2014 ได้มีการนำเสนอแนวคิดเกี่ยวกับเครือข่ายปฏิปักษ์โดยกำเนิด (GAN) GAN ใช้เพื่อสร้างภาพ วิดีโอ และเสียงที่ดูเหมือนเป็นการบันทึกสถานการณ์จริงอย่างแท้จริง          

การใช้เครือข่ายฝ่ายตรงข้ามที่สร้าง โครงข่ายประสาทสองอัน ที่มีการฝึกอบรมฝ่ายตรงข้ามพร้อมกัน: โครงข่ายประสาทเทียมหนึ่งทำหน้าที่เป็นตัวแบ่งแยกและอีกอันทำหน้าที่เป็นตัวกำเนิด ผู้แยกแยะได้รับการฝึกอบรมเพื่อแยกแยะระหว่างข้อมูลที่สร้างขึ้นและข้อมูลจริง ตัวสร้างจะสร้างข้อมูลสังเคราะห์และพยายามเลียนแบบข้อมูลจริง การฝึกฝนช่วยให้เครื่องกำเนิดสามารถสร้างการบันทึกที่สมจริงยิ่งขึ้นเพื่อหลอกผู้เลือกปฏิบัติ GAN สามารถสร้างข้อมูลสังเคราะห์ที่ยากหรือเป็นไปไม่ได้ที่จะรับรู้ว่าเป็นข้อมูลปลอม

ยุค 2020 และ Chatbots ที่ชาญฉลาดยิ่งขึ้น

ในเดือนพฤศจิกายนปี 2022 OpenAI ได้เปิดตัว ChatGPT ซึ่งเป็น AI เชิงสร้างสรรค์ที่ผสมผสานกับ โมเดลภาษาขนาดใหญ่. ChatGPT และรูปแบบต่างๆ ได้บรรลุระดับใหม่ของปัญญาประดิษฐ์ “แชทบอทที่ชาญฉลาดกว่า” เหล่านี้สามารถทำการวิจัย สนับสนุนการเขียนที่ดีพอสมควร และสร้างวิดีโอ เสียง และภาพที่สมจริง

การผสมผสานระหว่างการฝึกอบรม AI แบบเจนเนอเรชั่นกับโมเดลภาษาขนาดใหญ่ ส่งผลให้เกิดปัญญาประดิษฐ์ที่มีความสามารถในการคิดและการใช้เหตุผล พวกเขาอาจมีความสามารถในการ "จินตนาการ" ChatGPT ถูกกล่าวหาว่ามีอาการประสาทหลอน ซึ่งอาจตีความได้ว่าเป็นการใช้จินตนาการ

ประทับเวลา:

เพิ่มเติมจาก ข้อมูล