เรากำลังเผยแพร่การวิเคราะห์ที่แสดงให้เห็นว่าตั้งแต่ปี 2012 จำนวนการประมวลผลที่จำเป็นในการฝึก Neural net ให้มีประสิทธิภาพเท่ากันบน ImageNet การจำแนกประเภทลดลง 2 เท่าทุกๆ 16 เดือน เมื่อเทียบกับปี 2012 ตอนนี้ใช้การประมวลผลน้อยลง 44 เท่าในการฝึกโครงข่ายประสาทเทียมให้อยู่ในระดับของ AlexNet (ตรงกันข้าม กฎของมัวร์ จะทำให้ต้นทุนเพิ่มขึ้น 11 เท่าในช่วงเวลานี้) ผลลัพธ์ของเราแนะนำว่าสำหรับงาน AI ที่มีการลงทุนระดับสูงเมื่อเร็วๆ นี้ ความก้าวหน้าของอัลกอริทึมนั้นให้ผลตอบแทนมากกว่าประสิทธิภาพของฮาร์ดแวร์แบบดั้งเดิม
การปรับปรุงอัลกอริทึมเป็นปัจจัยสำคัญที่ขับเคลื่อนความก้าวหน้าของ AI สิ่งสำคัญคือต้องค้นหาการวัดที่ให้ความกระจ่างเกี่ยวกับความคืบหน้าของอัลกอริทึมโดยรวม แม้ว่าจะยากกว่าการวัดแนวโน้มดังกล่าวในการคำนวณ
ต้องใช้การประมวลผลน้อยลง 44 เท่าเพื่อไปยังประสิทธิภาพของ AlexNet 7 ปีต่อมา
จำนวนการประมวลผลทั้งหมดเป็น teraflops/s-days ที่ใช้ในการฝึกเพื่อประสิทธิภาพระดับ AlexNet จุดประมวลผลต่ำสุด ณ เวลาที่กำหนดให้แสดงเป็นสีน้ำเงิน จุดทั้งหมดที่วัดแสดงเป็นสีเทา
การวัดประสิทธิภาพ
ประสิทธิภาพอัลกอริธึมสามารถกำหนดเป็นการลดการประมวลผลที่จำเป็นในการฝึกความสามารถเฉพาะ ประสิทธิภาพเป็นวิธีหลักในการวัดความก้าวหน้าของอัลกอริทึมในปัญหาด้านวิทยาการคอมพิวเตอร์แบบคลาสสิก เช่น การเรียงลำดับ ประสิทธิภาพที่เพิ่มขึ้นจากปัญหาดั้งเดิม เช่น การคัดแยก สามารถวัดได้ง่ายกว่าใน ML เนื่องจากมีตัววัดความยากของงานที่ชัดเจนกว่า อย่างไรก็ตาม เราสามารถนำเลนส์ประสิทธิภาพไปใช้กับการเรียนรู้ของเครื่องโดยคงประสิทธิภาพไว้ได้ สามารถเปรียบเทียบแนวโน้มประสิทธิภาพข้ามโดเมนได้ เช่น การหาลำดับดีเอ็นเอ (เพิ่มขึ้นเป็น 10 เดือน) พลังงานแสงอาทิตย์ (เพิ่มขึ้นเป็นสองเท่าเป็นเวลา 6 ปี) และความหนาแน่นของทรานซิสเตอร์ (2 ปี เพิ่มขึ้น XNUMX เท่า)
สำหรับการวิเคราะห์ของเรา เราใช้ประโยชน์จากการนำโอเพ่นซอร์สกลับมาใช้ใหม่เป็นหลัก เพื่อวัดความก้าวหน้าของประสิทธิภาพระดับ AlexNet ในระยะยาว เราเห็นอัตราการปรับปรุงประสิทธิภาพการฝึกอบรมที่ใกล้เคียงกันสำหรับประสิทธิภาพระดับ ResNet-50 บน ImageNet (เวลา 17 เดือนเป็นสองเท่า) เราเห็นอัตราการปรับปรุงที่เร็วขึ้นในช่วงเวลาที่สั้นลงใน Translation, Go และ Dota 2:
- ภายในการแปล Transformer ทะลุ seq2seq ประสิทธิภาพของการแปลภาษาอังกฤษเป็นภาษาฝรั่งเศสใน WMT'14 ด้วยการคำนวณการฝึกอบรมน้อยลง 61x 3 ปีต่อมา
- เราประเมิน AlphaZero ใช้คอมพิวเตอร์น้อยลง 8 เท่าเพื่อไปที่ AlphaGoZero ระดับประสิทธิภาพ 1 ปีต่อมา
- OpenAI Five Rerun ต้องการการคำนวณการฝึกอบรมน้อยลง 5 เท่าเพื่อให้เหนือกว่า OpenAI Five (ซึ่งเอาชนะแชมป์โลก OG) 3 เดือนต่อมา
การคิดว่าการคำนวณในปี 2012 จะไม่เท่ากับการคำนวณในปี 2019 ในลักษณะเดียวกันกับที่เงินดอลลาร์จำเป็นต้องปรับอัตราเงินเฟ้อเมื่อเวลาผ่านไป อาจเป็นประโยชน์ การคำนวณจำนวนคงที่สามารถทำได้ในปี 2019 มากกว่าในปี 2012 วิธีคิดอย่างหนึ่งคือการวิจัย AI บางประเภทมีความคืบหน้าในสองขั้นตอน คล้ายกับรูปแบบการพัฒนา "ติ๊กต็อก" ที่พบในเซมิคอนดักเตอร์ ความสามารถใหม่ ("ขีด") มักจะต้องใช้ค่าใช้จ่ายในการประมวลผลจำนวนมากเพื่อให้ได้มาซึ่งความสามารถเหล่านั้นในเวอร์ชันที่ปรับปรุงแล้ว ("tock") จะมีประสิทธิภาพมากขึ้นในการปรับใช้เนื่องจากการปรับปรุงกระบวนการ
การเพิ่มประสิทธิภาพอัลกอริธึมช่วยให้นักวิจัยทำการทดลองที่น่าสนใจมากขึ้นในระยะเวลาและเงินที่กำหนด นอกจากจะเป็นตัววัดความก้าวหน้าโดยรวมแล้ว ประสิทธิภาพอัลกอริธึมยังช่วยเพิ่มความเร็วในการวิจัย AI ในอนาคต ในลักษณะที่คล้ายคลึงกับการคำนวณมากขึ้น
มาตรการอื่นๆ ของความก้าวหน้าของ AI
นอกจากประสิทธิภาพแล้ว การวัดผลอื่นๆ อีกมากมายยังให้ความกระจ่างเกี่ยวกับความคืบหน้าของอัลกอริธึมโดยรวมใน AI ค่าอบรมเป็นดอลลาร์ มีความเกี่ยวข้องกัน แต่เน้นที่ความคืบหน้าของอัลกอริธึมในวงแคบน้อยกว่า เนื่องจากยังได้รับผลกระทบจากการปรับปรุงในฮาร์ดแวร์พื้นฐาน การใช้งานฮาร์ดแวร์ และโครงสร้างพื้นฐานระบบคลาวด์ ประสิทธิภาพของตัวอย่างเป็นกุญแจสำคัญเมื่อเราอยู่ในระบอบข้อมูลต่ำ ซึ่งเป็นกรณีของงานที่น่าสนใจมากมาย ความสามารถในการฝึกโมเดลได้เร็วขึ้น ยังช่วยให้การวิจัยเร็วขึ้นและสามารถคิดได้ว่าเป็นการวัดความเท่าเทียมกัน ความสามารถในการเรียนรู้ที่น่าสนใจ นอกจากนี้เรายังพบว่าประสิทธิภาพการอนุมานเพิ่มขึ้นในแง่ของเวลา GPU, พารามิเตอร์และล้มเหลวอย่างมีความหมาย แต่ส่วนใหญ่เป็นผลมาจากผลกระทบทางเศรษฐกิจมากกว่าผลกระทบต่อความก้าวหน้าของการวิจัยในอนาคต Shufflenet บรรลุประสิทธิภาพระดับ AlexNet โดยมีประสิทธิภาพการอนุมานเพิ่มขึ้น 18 เท่าใน 5 ปี (เวลา 15 เดือนเพิ่มขึ้นเป็นสองเท่า) ซึ่งแสดงให้เห็นว่าประสิทธิภาพการฝึกอบรมและประสิทธิภาพการอนุมานอาจดีขึ้นในอัตราที่ใกล้เคียงกัน การสร้างชุดข้อมูล/สภาพแวดล้อม/เกณฑ์มาตรฐานเป็นวิธีที่มีประสิทธิภาพในการทำให้ความสามารถเฉพาะด้าน AI ที่น่าสนใจสามารถวัดผลได้มากขึ้น
ข้อจำกัดหลัก
- เรามีจุดข้อมูลประสิทธิภาพอัลกอริธึมเพียงเล็กน้อยในงานบางอย่าง ยังไม่ชัดเจนว่าแนวโน้มด้านประสิทธิภาพที่เราสังเกตพบนั้นเป็นภาพรวมของงาน AI อื่นๆ ในระดับใด การวัดอย่างเป็นระบบอาจทำให้ชัดเจนว่าอัลกอริทึมที่เทียบเท่ากับกฎของมัวร์ในโดเมนของ AI มีอยู่จริงหรือไม่ และหากมีอยู่ ให้ชี้แจงธรรมชาติของมันให้ชัดเจน เราถือว่านี่เป็นคำถามเปิดที่น่าสนใจอย่างยิ่ง เราสงสัยว่าเรามีแนวโน้มที่จะสังเกตเห็นอัตราความก้าวหน้าด้านประสิทธิภาพที่คล้ายคลึงกันในงานที่คล้ายคลึงกัน โดยงานที่คล้ายกัน เราหมายถึงงานภายในโดเมนย่อยของ AI ซึ่งภาคสนามยอมรับว่าเราได้เห็นความคืบหน้าอย่างมาก และมีระดับการลงทุนที่ใกล้เคียงกัน (คำนวณและ/หรือเวลาของนักวิจัย)
- แม้ว่าเราเชื่อว่า AlexNet แสดงถึงความก้าวหน้าอย่างมาก แต่การวิเคราะห์นี้ไม่ได้พยายามหาปริมาณความคืบหน้านั้น โดยทั่วไปแล้ว ในครั้งแรกที่มีความสามารถถูกสร้างขึ้น การพัฒนาอัลกอริธึมอาจลดทรัพยากรที่จำเป็นลงเหลือเพียงสูงเท่านั้น เราคิดว่าความสามารถใหม่โดยทั่วไปแสดงถึงความก้าวหน้าของแนวคิดโดยรวมที่มากกว่าการเพิ่มประสิทธิภาพที่สังเกตได้ของประเภทที่แสดงที่นี่
- การวิเคราะห์นี้เน้นที่ค่าใช้จ่ายในการดำเนินการฝึกอบรมขั้นสุดท้ายสำหรับแบบจำลองที่ปรับให้เหมาะสมมากกว่าต้นทุนการพัฒนาทั้งหมด การปรับปรุงอัลกอริธึมบางอย่างทำให้การฝึกโมเดลทำได้ง่ายขึ้นโดยทำให้พื้นที่ของไฮเปอร์พารามิเตอร์ที่จะฝึกอย่างเสถียรและได้ประสิทธิภาพสุดท้ายที่ดีนั้นใหญ่ขึ้นมาก ในทางกลับกัน การค้นหาสถาปัตยกรรมจะเพิ่มช่องว่างระหว่างค่าใช้จ่ายในการดำเนินการฝึกอบรมขั้นสุดท้ายและต้นทุนการฝึกอบรมทั้งหมด
- เราไม่ได้คาดเดาระดับที่เราคาดหวังว่าแนวโน้มประสิทธิภาพจะคาดการณ์ได้ทันเวลา เราเพียงนำเสนอผลลัพธ์ของเราและหารือถึงความหมายหากแนวโน้มยังคงมีอยู่
นโยบายการวัดและ AI
เราเชื่อว่า การกำหนดนโยบายที่เกี่ยวข้องกับ AI จะได้รับการปรับปรุงโดยมุ่งเน้นที่การวัดและการประเมินระบบ AI มากขึ้น ทั้งในแง่ของคุณลักษณะทางเทคนิคและผลกระทบทางสังคม เราคิดว่าความคิดริเริ่มในการวัดผลดังกล่าวสามารถให้ความกระจ่างต่อคำถามที่สำคัญในนโยบาย AI และคอมพิวเตอร์ของเรา การวิเคราะห์แนะนำว่าผู้กำหนดนโยบายควรเพิ่มเงินทุนสำหรับทรัพยากรการประมวลผลสำหรับสถาบันการศึกษา เพื่อให้การวิจัยทางวิชาการสามารถทำซ้ำ ทำซ้ำ และขยายการวิจัยอุตสาหกรรม การวิเคราะห์ประสิทธิภาพนี้ชี้ให้เห็นว่าผู้กำหนดนโยบายสามารถพัฒนาสัญชาตญาณที่ถูกต้องเกี่ยวกับค่าใช้จ่ายในการปรับใช้ความสามารถของ AI และค่าใช้จ่ายเหล่านี้จะเปลี่ยนแปลงไปตามกาลเวลาอย่างไร โดยการประเมินอัตราการปรับปรุงประสิทธิภาพสำหรับระบบ AI อย่างใกล้ชิดยิ่งขึ้น
ติดตามประสิทธิภาพในอนาคต
หากการประมวลผลขนาดใหญ่ยังคงมีความสำคัญต่อการบรรลุประสิทธิภาพโดยรวมที่ล้ำสมัย (SOTA) ในโดเมน เช่น ภาษาและเกม สิ่งสำคัญคือต้องใช้ความพยายามในการวัดความก้าวหน้าที่โดดเด่นซึ่งทำได้โดยใช้การประมวลผลเพียงเล็กน้อย (ผลงานที่สถาบันการศึกษามักทำ) โมเดลที่บรรลุประสิทธิภาพการฝึกอบรมที่ทันสมัยในด้านความสามารถที่มีความหมายนั้นมีแนวโน้มว่าผู้สมัครจะได้รับการขยายขนาดและอาจบรรลุประสิทธิภาพสูงสุดโดยรวม นอกจากนี้ การหาการปรับปรุงประสิทธิภาพของอัลกอริธึมนั้นตรงไปตรงมา เนื่องจากเป็นเพียงส่วนสำคัญของเส้นโค้งการเรียนรู้ที่การทดลองทั้งหมดสร้างขึ้น
เรายังคิดว่าการวัดแนวโน้มระยะยาวในด้านประสิทธิภาพ SOTA จะช่วยวาดภาพเชิงปริมาณของความคืบหน้าโดยรวมของอัลกอริทึม เราสังเกตว่าฮาร์ดแวร์และประสิทธิภาพของอัลกอริธึมเพิ่มขึ้นเป็นทวีคูณ และสามารถอยู่ในระดับที่ใกล้เคียงกันบนขอบฟ้าที่มีความหมาย ซึ่งแนะนำว่าแบบจำลองที่ดีของความก้าวหน้าของ AI ควรรวมการวัดจากทั้งสองอย่างเข้าด้วยกัน
ผลลัพธ์ของเราแนะนำว่า สำหรับงาน AI ที่มีการลงทุนระดับสูง (เวลานักวิจัยและ/หรือการคำนวณ) ประสิทธิภาพของอัลกอริทึมอาจแซงหน้าประสิทธิภาพฮาร์ดแวร์ (กฎของมัวร์) กฎของมัวร์ก่อตั้งขึ้นเมื่อปี 1965 เมื่อวงจรรวมมีทรานซิสเตอร์เพียง 64 ตัว (6 เท่า) และคาดการณ์อย่างไร้เดียงสาจากคอมพิวเตอร์ส่วนบุคคลและสมาร์ทโฟน (iPhone 11 มีทรานซิสเตอร์ 8.5 พันล้านตัว) หากเราสังเกตการปรับปรุงแบบทวีคูณในประสิทธิภาพของอัลกอริธึมของ AI มานานหลายทศวรรษ จะนำไปสู่อะไร เราไม่แน่ใจ ผลลัพธ์เหล่านี้ทำให้เราถามคำถามนี้เป็นการปรับปรุงเล็กน้อยสำหรับเราในอนาคตด้วยบริการและเทคโนโลยี AI ที่ทรงพลัง
ด้วยเหตุผลทั้งหมดนี้ เราจะเริ่มติดตามประสิทธิภาพของ SOTA แบบสาธารณะ เราจะเริ่มต้นด้วยการวัดประสิทธิภาพการมองเห็นและการแปล (ImageNet และ WMT14) และเราจะพิจารณาเพิ่มการวัดประสิทธิภาพเพิ่มเติมเมื่อเวลาผ่านไป เราเชื่อว่ามี SOTA ที่มีประสิทธิภาพในเกณฑ์มาตรฐานเหล่านี้ ซึ่งเราไม่ทราบและสนับสนุนให้ชุมชนวิจัย ส่งได้ที่นี่ (เราจะให้เครดิตกับผู้เขียนต้นฉบับและผู้ทำงานร่วมกัน)
ผู้นำในอุตสาหกรรม ผู้กำหนดนโยบาย นักเศรษฐศาสตร์ และนักวิจัยที่มีศักยภาพต่างพยายามทำความเข้าใจความก้าวหน้าของ AI ให้ดีขึ้น และตัดสินใจว่าควรให้ความสนใจมากน้อยเพียงใดและจะนำไปที่ใด ความพยายามในการวัดผลสามารถช่วยในการตัดสินใจดังกล่าวได้ หากท่านสนใจงานประเภทนี้ พิจารณาสมัคร ไปทำงานที่ทีม Foresight หรือ Policy ของ OpenAI!
