De beste Machine Learning-papers om te lezen in 2023

Heruitgegeven door Plato

volgers: 0

Top Machine Learning Papers om te lezen in 2023
Afbeelding door pc.vector on Freepik

Machine Learning is een groot veld en er komt regelmatig nieuw onderzoek uit. Het is een hot field waar de academische wereld en de industrie blijven experimenteren met nieuwe dingen om ons dagelijks leven te verbeteren.

De afgelopen jaren heeft generatieve AI de wereld veranderd door de toepassing van machine learning. Bijvoorbeeld ChatGPT en Stable Diffusion. Zelfs nu 2023 wordt gedomineerd door generatieve AI, zouden we ons bewust moeten zijn van nog veel meer doorbraken op het gebied van machine learning.

Hier zijn de beste machine learning-papers die u in 2023 kunt lezen, zodat u de aankomende trends niet zult missen.

1) De schoonheid van liedjes leren: neurale zangstemverfraaiing

Singing Voice Beautifying (SVB) is een nieuwe taak in generatieve AI die tot doel heeft de amateurzangstem te verbeteren tot een mooie stem. Het is precies het onderzoeksdoel van Liu et al. (2022) toen ze een nieuw generatief model voorstelden genaamd Neural Singing Voice Beautifier (NSVB).

De NSVB is een semi-gesuperviseerd leermodel dat gebruikmaakt van een latent-mapping-algoritme dat fungeert als een toonhoogtecorrector en de stemtoon verbetert. Het werk belooft de muziekindustrie te verbeteren en is de moeite van het bekijken waard.

2) Symbolische ontdekking van optimalisatie-algoritmen

Diepe neurale netwerkmodellen zijn groter dan ooit geworden en er is veel onderzoek gedaan om het trainingsproces te vereenvoudigen. Recent onderzoek door het Google-team (Chen et al. (2023)) heeft een nieuwe optimalisatie voorgesteld voor het neurale netwerk genaamd Lion (EvoLved Sign Momentum). De methode laat zien dat het algoritme geheugenefficiënter is en een kleinere leersnelheid vereist dan Adam. Het is geweldig onderzoek dat veel beloftes laat zien die je niet mag missen.

3) TimesNet: temporele 2D-variatiemodellering voor algemene tijdreeksanalyse

Tijdreeksanalyse is een algemeen gebruiksvoorbeeld in veel bedrijven; Bijvoorbeeld prijsprognoses, anomaliedetectie, enz. Er zijn echter veel uitdagingen om tijdelijke gegevens alleen te analyseren op basis van de huidige gegevens (1D-gegevens). Dat is de reden Wu et al. (2023) een nieuwe methode voorstellen, TimesNet genaamd, om de 1D-gegevens om te zetten in 2D-gegevens, wat geweldige prestaties levert in het experiment. Je zou het artikel moeten lezen om deze nieuwe methode beter te begrijpen, aangezien het veel toekomstige tijdreeksanalyses zou helpen.

4) OPT: open vooraf getrainde Transformer-taalmodellen

Momenteel bevinden we ons in een generatief AI-tijdperk waarin veel grote taalmodellen intensief zijn ontwikkeld door bedrijven. Meestal zou dit soort onderzoek hun model niet vrijgeven of alleen in de handel verkrijgbaar zijn. De onderzoeksgroep Meta AI (Zhang et al. (2022)) probeert het tegenovergestelde te doen door publiekelijk het Open Pre-trained Transformers (OPT)-model vrij te geven dat vergelijkbaar zou kunnen zijn met de GPT-3. De paper is een goed begin om het OPT-model en de onderzoeksdetails te begrijpen, aangezien de groep alle details in de paper registreert.

5) REaLTabFormer: realistische relationele en tabelgegevens genereren met behulp van transformatoren

Het generatieve model is niet beperkt tot het genereren van alleen tekst of afbeeldingen, maar ook gegevens in tabelvorm. Deze gegenereerde gegevens worden vaak synthetische gegevens genoemd. Er zijn veel modellen ontwikkeld om synthetische tabelgegevens te genereren, maar bijna geen model om relationele synthetische gegevens in tabelvorm te genereren. Dit is precies het doel van Solatorio en Dupriez (2023) onderzoek; het creëren van een model genaamd REaLTabFormer voor synthetische relationele gegevens. Het experiment heeft aangetoond dat het resultaat nauwkeurig in de buurt komt van het bestaande synthetische model, dat zou kunnen worden uitgebreid tot vele toepassingen.

6) Is versterkingsleren (niet) voor natuurlijke taalverwerking?: Benchmarks, basislijnen en bouwstenen voor optimalisatie van het natuurlijke taalbeleid

Reinforcement Conceptueel leren is een uitstekende keuze voor de Natural Language Processing-taak, maar is het waar? Dit is een vraag die Ramamurthy et al. (2022) probeer te beantwoorden. De onderzoeker introduceert verschillende bibliotheken en algoritmen die laten zien waar Reinforcement Learning-technieken een voorsprong hebben ten opzichte van de begeleide methode in de NLP-taken. Het is een aanbevolen paper om te lezen als je een alternatief wilt voor je vaardigheden.

7) Tune-A-Video: eenmalige afstemming van beelddiffusiemodellen voor het genereren van tekst naar video

Het genereren van tekst naar afbeelding was groot in 2022 en 2023 zou worden geprojecteerd op tekst-naar-video (T2V) -mogelijkheden. Onderzoek door Wu et al. (2022) laat zien hoe T2V op veel benaderingen kan worden uitgebreid. Het onderzoek stelt een nieuwe Tune-a-Video-methode voor die T2V-taken ondersteunt, zoals het veranderen van onderwerp en object, stijloverdracht, het bewerken van attributen, enz. Het is een geweldig artikel om te lezen als je geïnteresseerd bent in tekst-naar-video-onderzoek.

8) PyGlove: efficiënt ML-ideeën uitwisselen als code

Efficiënte samenwerking is de sleutel tot succes in elk team, vooral met de toenemende complexiteit op het gebied van machine learning. Om efficiëntie te koesteren, Peng et al. (2023) presenteer een PyGlove-bibliotheek om gemakkelijk ML-ideeën te delen. Het PyGlove-concept is om het proces van ML-onderzoek vast te leggen door middel van een lijst met patchregels. De lijst kan vervolgens worden hergebruikt in elke experimentscène, wat de efficiëntie van het team verbetert. Het is onderzoek dat probeert een machine learning-probleem op te lossen dat velen nog niet hebben gedaan, dus het is de moeite waard om te lezen.

8) Hoe dicht is ChatGPT bij menselijke experts? Vergelijking Corpus, evaluatie en detectie

ChatGPT heeft de wereld zo veranderd. Het is veilig om te zeggen dat de trend vanaf hier omhoog zou gaan, aangezien het publiek al voorstander is van het gebruik van ChatGPT. Hoe is het huidige resultaat van ChatGPT echter in vergelijking met de Human Experts? Het is precies een vraag die Guo et al. (2023) probeer te beantwoorden. Het team probeerde gegevens van experts te verzamelen en de snelle resultaten van ChatGPT te verzamelen, die ze vergeleken. Het resultaat laat zien dat er impliciete verschillen waren tussen ChatGPT en experts. Het onderzoek is iets waarvan ik denk dat het in de toekomst gevraagd zal blijven, aangezien het generatieve AI-model in de loop van de tijd zou blijven groeien, dus het is het lezen waard.

2023 is een geweldig jaar voor onderzoek naar machine learning, zoals blijkt uit de huidige trend, met name generatieve AI zoals ChatGPT en Stable Diffusion. Er is veel veelbelovend onderzoek dat we volgens mij niet mogen missen, omdat het veelbelovende resultaten laat zien die de huidige standaard zouden kunnen veranderen. In dit artikel heb ik je 9 top ML-papieren laten zien om te lezen, variërend van het generatieve model, tijdreeksmodel tot workflow-efficiëntie. Ik hoop dat het helpt.

Cornellius Yudha Wijaya is een data science assistent-manager en dataschrijver. Terwijl hij fulltime bij Allianz Indonesia werkt, deelt hij graag Python- en Data-tips via sociale media en schrijvende media.