Top Machine Learning Papers To Read In 2023

Diterbitkan Ulang Oleh Plato

Followers: 0

Makalah Pembelajaran Mesin Teratas untuk Dibaca pada tahun 2023
Image by pch.vektor on Freepik

Pembelajaran Mesin adalah bidang besar dengan penelitian baru yang sering keluar. Ini adalah medan panas di mana akademisi dan industri terus bereksperimen dengan hal-hal baru untuk meningkatkan kehidupan kita sehari-hari.

Dalam beberapa tahun terakhir, AI generatif telah mengubah dunia karena penerapan pembelajaran mesin. Misalnya, ChatGPT dan Difusi Stabil. Bahkan dengan tahun 2023 yang didominasi oleh AI generatif, kita harus menyadari lebih banyak lagi terobosan pembelajaran mesin.

Berikut adalah makalah pembelajaran mesin teratas untuk dibaca pada tahun 2023 sehingga Anda tidak akan ketinggalan tren yang akan datang.

1) Mempelajari Keindahan dalam Lagu: Penata Suara Bernyanyi Neural

Singing Voice Beautifying (SVB) adalah tugas baru dalam generatif AI yang bertujuan untuk meningkatkan suara nyanyian amatir menjadi indah. Itu persis tujuan penelitian Liu et al. (2022) ketika mereka mengusulkan model generatif baru yang disebut Neural Singing Voice Beautifier (NSVB).

NSVB adalah model pembelajaran semi-diawasi menggunakan algoritma pemetaan laten yang bertindak sebagai korektor nada dan meningkatkan nada vokal. Pekerjaan itu menjanjikan untuk meningkatkan industri musik dan layak untuk dicoba.

2) Penemuan Simbolik dari Algoritma Optimasi

Model jaringan saraf dalam menjadi lebih besar dari sebelumnya, dan banyak penelitian telah dilakukan untuk menyederhanakan proses pelatihan. Penelitian terbaru oleh tim Google (Chen dkk. (2023)) telah mengusulkan pengoptimalan baru untuk Neural Network yang disebut Lion (EvoLved Sign Momentum). Metode tersebut menunjukkan bahwa algoritme lebih hemat memori dan membutuhkan laju pembelajaran yang lebih kecil daripada Adam. Ini adalah penelitian hebat yang menunjukkan banyak janji yang tidak boleh Anda lewatkan.

3) TimesNet: Pemodelan Variasi 2D Temporal untuk Analisis Deret Waktu Umum

Analisis deret waktu adalah kasus penggunaan umum di banyak bisnis; Misalnya, peramalan harga, deteksi anomali, dll. Namun, ada banyak tantangan untuk menganalisis data temporal hanya berdasarkan data saat ini (data 1D). Itulah mengapa Wu dkk. (2023) mengusulkan metode baru yang disebut TimesNet untuk mengubah data 1D menjadi data 2D, yang menghasilkan kinerja luar biasa dalam percobaan. Anda harus membaca makalah untuk lebih memahami metode baru ini karena akan membantu banyak analisis deret waktu di masa mendatang.

4) OPT: Buka Model Bahasa Transformer Pra-terlatih

Saat ini, kita berada di era generatif AI di mana banyak model bahasa besar dikembangkan secara intensif oleh perusahaan. Sebagian besar penelitian semacam ini tidak akan merilis modelnya atau hanya tersedia secara komersial. Namun, kelompok riset Meta AI (Zhang et al. (2022)) mencoba melakukan sebaliknya dengan merilis model Open Pre-trained Transformers (OPT) yang dapat dibandingkan dengan GPT-3. Makalah ini merupakan awal yang baik untuk memahami model OPT dan detail penelitian, karena kelompok mencatat semua detail di makalah.

5) REALtabFormer: Menghasilkan Data Relasional dan Tabular Realistis menggunakan Transformers

Model generatif tidak terbatas pada hanya menghasilkan teks atau gambar tetapi juga data tabular. Data yang dihasilkan ini sering disebut data sintetik. Banyak model dikembangkan untuk menghasilkan data tabular sintetik, tetapi hampir tidak ada model untuk menghasilkan data sintetik tabular relasional. Inilah tepatnya tujuan dari Solatorio dan Dupriez (2023) riset; membuat model yang disebut REaLTabFormer untuk data relasional sintetik. Eksperimen telah menunjukkan bahwa hasilnya secara akurat mendekati model sintetik yang ada, yang dapat diperluas ke banyak aplikasi.

6) Apakah Pembelajaran Penguatan (Bukan) untuk Pemrosesan Bahasa Alami?: Tolok Ukur, Garis Dasar, dan Blok Bangunan untuk Optimasi Kebijakan Bahasa Alami

Pembelajaran Penguatan secara konseptual adalah pilihan yang sangat baik untuk tugas Pemrosesan Bahasa Alami, tetapi apakah itu benar? Ini adalah pertanyaan yang Ramamurthy dkk. (2022) coba jawab. Peneliti memperkenalkan berbagai library dan algoritma yang menunjukkan dimana teknik Reinforcement Learning memiliki kelebihan dibandingkan dengan metode supervised dalam tugas-tugas NLP. Ini adalah makalah yang disarankan untuk dibaca jika Anda menginginkan alternatif untuk keahlian Anda.

7) Tune-A-Video: Penyesuaian Sekali Pemotretan Model Difusi Gambar untuk Pembuatan Teks-ke-Video

Pembuatan teks-ke-gambar sangat besar pada tahun 2022, dan 2023 akan diproyeksikan pada kemampuan teks-ke-video (T2V). Penelitian oleh Wu dkk. (2022) menunjukkan bagaimana T2V dapat diperpanjang pada banyak pendekatan. Penelitian ini mengusulkan metode Tune-a-Video baru yang mendukung tugas T2V seperti perubahan subjek dan objek, transfer gaya, pengeditan atribut, dll. Ini adalah makalah yang bagus untuk dibaca jika Anda tertarik dengan penelitian teks-ke-video.

8) PyGlove: Bertukar Ide ML secara Efisien sebagai Kode

Kolaborasi yang efisien adalah kunci sukses di tim mana pun, terutama dengan meningkatnya kompleksitas dalam bidang pembelajaran mesin. Untuk memelihara efisiensi, Peng dkk. (2023) hadirkan perpustakaan PyGlove untuk berbagi ide ML dengan mudah. Konsep PyGlove adalah menangkap proses penelitian ML melalui daftar aturan penambalan. Daftar tersebut kemudian dapat digunakan kembali dalam adegan eksperimen apa pun, yang meningkatkan efisiensi tim. Ini adalah penelitian yang mencoba memecahkan masalah pembelajaran mesin yang belum banyak dilakukan, jadi patut dibaca.

8) Seberapa Dekat ChatGPT dengan Pakar Manusia? Korpus Perbandingan, Evaluasi, dan Deteksi

ChatGPT telah banyak mengubah dunia. Dapat dikatakan bahwa tren akan naik dari sini karena publik sudah mendukung penggunaan ChatGPT. Namun, bagaimana hasil ChatGPT saat ini dibandingkan dengan Pakar Manusia? Ini persis pertanyaan itu Guo et al. (2023) coba jawab. Tim mencoba mengumpulkan data dari para ahli dan hasil prompt ChatGPT, yang mereka bandingkan. Hasilnya menunjukkan bahwa ada perbedaan implisit antara ChatGPT dan pakar. Penelitian ini adalah sesuatu yang saya rasa akan terus ditanyakan di masa mendatang karena model AI generatif akan terus berkembang dari waktu ke waktu, jadi patut dibaca.

2023 adalah tahun yang luar biasa untuk penelitian pembelajaran mesin yang ditunjukkan oleh tren saat ini, terutama AI generatif seperti ChatGPT dan Difusi Stabil. Ada banyak penelitian menjanjikan yang menurut saya tidak boleh kita lewatkan karena menunjukkan hasil yang menjanjikan yang mungkin mengubah standar saat ini. Dalam artikel ini, saya telah menunjukkan kepada Anda 9 makalah ML teratas untuk dibaca, mulai dari model generatif, model deret waktu, hingga efisiensi alur kerja. Saya harap ini membantu.

Cornellius Yudha Wijaya adalah asisten manajer ilmu data dan penulis data. Selama bekerja full-time di Allianz Indonesia, ia suka berbagi tips Python dan Data melalui media sosial dan media tulis.