เอกสารการเรียนรู้ของเครื่องยอดนิยมที่ควรอ่านในปี 2023

เผยแพร่ซ้ำโดยเพลโต

ผู้ติดตาม: 0

เอกสารการเรียนรู้ของเครื่องอันดับต้น ๆ ที่น่าอ่านในปี 2023
ภาพโดย pc.vector on Freepik

แมชชีนเลิร์นนิงเป็นสาขาใหญ่ที่มีงานวิจัยใหม่ๆ ออกมาบ่อยๆ เป็นสนามที่ร้อนแรงซึ่งนักวิชาการและภาคอุตสาหกรรมต่างทดลองสิ่งใหม่ ๆ เพื่อพัฒนาชีวิตประจำวันของเรา

ในช่วงไม่กี่ปีที่ผ่านมา AI กำเนิดได้เปลี่ยนโลกเนื่องจากการประยุกต์ใช้การเรียนรู้ของเครื่อง ตัวอย่างเช่น ChatGPT และ Stable Diffusion แม้ว่าปี 2023 จะถูกครอบงำโดย AI เชิงกำเนิด แต่เราควรตระหนักถึงความก้าวหน้าด้านการเรียนรู้ของเครื่องอีกมากมาย

นี่คือเอกสารการเรียนรู้ของเครื่องอันดับต้น ๆ ที่น่าอ่านในปี 2023 ดังนั้นคุณจะไม่พลาดเทรนด์ที่กำลังจะมาถึง

1) การเรียนรู้ความงามในเพลง: Neural Singing Voice Beautifier

Singing Voice Beautifying (SVB) เป็นงานใหม่ใน AI กำเนิดที่มีจุดมุ่งหมายเพื่อปรับปรุงเสียงร้องของมือสมัครเล่นให้เป็นเสียงที่ไพเราะ ตรงกับจุดมุ่งหมายของการวิจัย หลิวและคณะ (2022) เมื่อพวกเขาเสนอแบบจำลองกำเนิดใหม่ที่เรียกว่า Neural Singing Voice Beautifier (NSVB)

NSVB เป็นรูปแบบการเรียนรู้แบบกึ่งควบคุมโดยใช้อัลกอริทึมการแมปแฝงซึ่งทำหน้าที่เป็นตัวแก้ไขระดับเสียงและปรับปรุงโทนเสียง งานนี้สัญญาว่าจะปรับปรุงอุตสาหกรรมดนตรีและควรค่าแก่การตรวจสอบ

2) การค้นพบสัญลักษณ์ของอัลกอริทึมการปรับให้เหมาะสม

โมเดลโครงข่ายประสาทเทียมระดับลึกมีขนาดใหญ่ขึ้นกว่าที่เคย และมีการวิจัยมากมายเพื่อทำให้กระบวนการฝึกอบรมง่ายขึ้น การวิจัยล่าสุดโดยทีมงาน Google (เฉินและคณะ (2023)) ได้เสนอการเพิ่มประสิทธิภาพใหม่สำหรับ Neural Network ที่เรียกว่า Lion (EvoLved Sign Momentum) วิธีนี้แสดงให้เห็นว่าอัลกอริทึมมีประสิทธิภาพด้านหน่วยความจำมากกว่าและต้องการอัตราการเรียนรู้ที่น้อยกว่าอดัม เป็นงานวิจัยที่ยอดเยี่ยมที่แสดงให้เห็นสัญญามากมายที่คุณไม่ควรพลาด

3) TimesNet: การสร้างแบบจำลองการเปลี่ยนแปลงชั่วคราว 2 มิติสำหรับการวิเคราะห์อนุกรมเวลาทั่วไป

การวิเคราะห์อนุกรมเวลาเป็นกรณีการใช้งานทั่วไปในหลายธุรกิจ ตัวอย่างเช่น การคาดการณ์ราคา การตรวจจับความผิดปกติ เป็นต้น อย่างไรก็ตาม มีความท้าทายมากมายในการวิเคราะห์ข้อมูลชั่วคราวโดยอิงตามข้อมูลปัจจุบันเท่านั้น (ข้อมูล 1 มิติ) นั่นคือเหตุผล วูและคณะ (2023) เสนอวิธีการใหม่ที่เรียกว่า TimesNet เพื่อแปลงข้อมูล 1 มิติเป็นข้อมูล 2 มิติ ซึ่งได้ประสิทธิภาพที่ยอดเยี่ยมในการทดลอง คุณควรอ่านรายงานเพื่อทำความเข้าใจวิธีการใหม่นี้ให้ดียิ่งขึ้น เนื่องจากจะช่วยในการวิเคราะห์อนุกรมเวลาในอนาคตได้มาก

4) OPT: เปิดโมเดลภาษา Transformer ที่ฝึกไว้ล่วงหน้า

ปัจจุบัน เราอยู่ในยุคกำเนิด AI ที่บริษัทต่างๆ พัฒนาโมเดลภาษาขนาดใหญ่จำนวนมาก การวิจัยประเภทนี้ส่วนใหญ่จะไม่เผยแพร่แบบจำลองหรือมีจำหน่ายในเชิงพาณิชย์เท่านั้น อย่างไรก็ตาม กลุ่มวิจัย Meta AI (จางและคณะ (2022)) พยายามทำสิ่งที่ตรงกันข้ามด้วยการเปิดตัวโมเดล Open Pre-trained Transformers (OPT) ต่อสาธารณะ ซึ่งอาจเทียบได้กับ GPT-3 บทความนี้เป็นจุดเริ่มต้นที่ดีในการทำความเข้าใจโมเดล OPT และรายละเอียดการวิจัย เนื่องจากกลุ่มจะบันทึกรายละเอียดทั้งหมดในเอกสาร

5) REaLTabFormer: การสร้างข้อมูลเชิงสัมพันธ์และตารางที่สมจริงโดยใช้ Transformers

โมเดลการกำเนิดไม่จำกัดเพียงการสร้างข้อความหรือรูปภาพเท่านั้น แต่ยังรวมถึงข้อมูลแบบตารางด้วย ข้อมูลที่สร้างขึ้นนี้มักเรียกว่าข้อมูลสังเคราะห์ โมเดลจำนวนมากได้รับการพัฒนาเพื่อสร้างข้อมูลแบบตารางสังเคราะห์ แต่แทบไม่มีโมเดลใดที่จะสร้างข้อมูลสังเคราะห์แบบตารางเชิงสัมพันธ์ นี่คือจุดมุ่งหมายของ Solatorio และ Dupriez (2023) วิจัย; สร้างโมเดลชื่อ REaLTabFormer สำหรับข้อมูลเชิงสัมพันธ์สังเคราะห์ การทดลองแสดงให้เห็นว่าผลลัพธ์ที่ได้นั้นแม่นยำใกล้เคียงกับแบบจำลองสังเคราะห์ที่มีอยู่ ซึ่งสามารถขยายไปสู่การใช้งานที่หลากหลาย

6) การเรียนรู้แบบเสริมกำลัง (ไม่ใช่) สำหรับการประมวลผลภาษาธรรมชาติหรือไม่: เกณฑ์มาตรฐาน พื้นฐาน และหน่วยการสร้างสำหรับการเพิ่มประสิทธิภาพนโยบายภาษาธรรมชาติ

แนวคิดการเรียนรู้แบบเสริมแรงเป็นทางเลือกที่ยอดเยี่ยมสำหรับงานการประมวลผลภาษาธรรมชาติ แต่จริงหรือไม่ นี่เป็นคำถามที่ว่า รามมูรธีและคณะ (2022) พยายามตอบ ผู้วิจัยแนะนำห้องสมุดและอัลกอริทึมต่างๆ ที่แสดงให้เห็นว่าเทคนิคการเรียนรู้แบบเสริมแรงมีความได้เปรียบอย่างไรเมื่อเทียบกับวิธีการดูแลในงาน NLP เป็นบทความที่แนะนำให้อ่านหากคุณต้องการทางเลือกสำหรับชุดทักษะของคุณ

7) Tune-A-Video: การปรับแต่งโมเดลการกระจายภาพแบบช็อตเดียวสำหรับการสร้างข้อความเป็นวิดีโอ

การสร้างข้อความเป็นรูปภาพมีขนาดใหญ่ในปี 2022 และในปี 2023 จะมีการฉายภาพด้วยความสามารถแปลงข้อความเป็นวิดีโอ (T2V) งานวิจัยโดย วูและคณะ (2022) แสดงให้เห็นว่าสามารถขยาย T2V ได้อย่างไรในหลายวิธี การวิจัยเสนอวิธี Tune-a-Video แบบใหม่ที่รองรับงาน T2V เช่น การเปลี่ยนหัวเรื่องและวัตถุ การถ่ายโอนสไตล์ การแก้ไขแอตทริบิวต์ ฯลฯ เป็นบทความที่ดีในการอ่านหากคุณสนใจการวิจัยข้อความเป็นวิดีโอ

8) PyGlove: แลกเปลี่ยนไอเดีย ML อย่างมีประสิทธิภาพในรูปแบบโค้ด

การทำงานร่วมกันอย่างมีประสิทธิภาพเป็นกุญแจสู่ความสำเร็จของทุกทีม โดยเฉพาะอย่างยิ่งกับความซับซ้อนที่เพิ่มขึ้นภายในสาขาแมชชีนเลิร์นนิง เพื่อบำรุงประสิทธิภาพ เป็งและคณะ (2023) นำเสนอห้องสมุด PyGlove เพื่อแบ่งปันแนวคิด ML ได้อย่างง่ายดาย แนวคิดของ PyGlove คือการจับภาพกระบวนการวิจัย ML ผ่านรายการกฎการแพตช์ รายการนี้สามารถนำมาใช้ซ้ำได้ในฉากการทดลองใดๆ ซึ่งช่วยปรับปรุงประสิทธิภาพของทีม เป็นการวิจัยที่พยายามแก้ปัญหาการเรียนรู้ของเครื่องที่หลายคนยังไม่ได้ทำ ดังนั้นมันจึงคุ้มค่าที่จะอ่าน

8) ChatGPT มีความใกล้ชิดกับมนุษย์มากแค่ไหน? คลังข้อมูลการเปรียบเทียบ การประเมิน และการตรวจจับ

ChatGPT ได้เปลี่ยนโลกไปมาก พูดได้อย่างปลอดภัยว่าแนวโน้มจะสูงขึ้นต่อจากนี้ เนื่องจากประชาชนทั่วไปนิยมใช้งาน ChatGPT อยู่แล้ว อย่างไรก็ตาม ผลลัพธ์ปัจจุบันของ ChatGPT เป็นอย่างไรเมื่อเทียบกับ Human Experts เป็นคำถามที่ว่า กัวและคณะ (2023) พยายามตอบ ทีมพยายามรวบรวมข้อมูลจากผู้เชี่ยวชาญและผลลัพธ์ของ ChatGPT ซึ่งนำมาเปรียบเทียบกัน ผลลัพธ์แสดงให้เห็นว่ามีความแตกต่างโดยนัยระหว่าง ChatGPT และผู้เชี่ยวชาญ การวิจัยเป็นสิ่งที่ฉันรู้สึกว่าจะถูกถามต่อไปในอนาคต เนื่องจากโมเดล AI เชิงกำเนิดจะเติบโตขึ้นเรื่อยๆ เมื่อเวลาผ่านไป ดังนั้นมันจึงคุ้มค่าที่จะอ่าน

ปี 2023 เป็นปีที่ยอดเยี่ยมสำหรับการวิจัยด้านแมชชีนเลิร์นนิงที่แสดงโดยเทรนด์ปัจจุบัน โดยเฉพาะ AI เชิงกำเนิด เช่น ChatGPT และ Stable Diffusion มีงานวิจัยที่น่าสนใจมากมายที่ฉันรู้สึกว่าเราไม่ควรพลาด เพราะมันแสดงผลที่น่ายินดีซึ่งอาจเปลี่ยนแปลงมาตรฐานปัจจุบันได้ ในบทความนี้ ฉันได้แสดงเอกสาร ML ยอดนิยม 9 ฉบับให้คุณอ่าน ตั้งแต่แบบจำลองการกำเนิด แบบจำลองอนุกรมเวลา ไปจนถึงประสิทธิภาพของเวิร์กโฟลว์ ฉันหวังว่ามันจะช่วยได้

คอร์เนลเลียส ยุธา วิชายา เป็นผู้ช่วยผู้จัดการด้านวิทยาศาสตร์ข้อมูลและผู้เขียนข้อมูล ในขณะที่ทำงานเต็มเวลาที่ Allianz Indonesia เขาชอบแบ่งปันเคล็ดลับ Python และ Data ผ่านโซเชียลมีเดียและสื่อการเขียน