2023 年に読むべき機械学習のトップ論文

プラトン再発行

フォロワー： 0

2023 年に読むべき上位の機械学習論文
による画像 pc.vector on Freepik

機械学習は、新しい研究が頻繁に発表される大きな分野です。学界と産業界が私たちの日常生活を改善するために新しいことを実験し続けるホットな分野です。

近年、ジェネレーティブ AI は機械学習の応用により世界を変えています。たとえば、ChatGPT や Stable Diffusion などです。 2023 年がジェネレーティブ AI に支配されていたとしても、私たちはさらに多くの機械学習のブレークスルーを認識する必要があります。

2023 年に読むべき上位の機械学習論文を以下に示します。今後のトレンドを見逃すことはありません。

1) 歌の美しさを学ぶ: Neural Singing Voice Beautifier

Singing Voice Beautifying (SVB) は、アマチュアの歌声を美しいものに改善することを目的としたジェネレーティブ AI の新しいタスクです。まさに研究目的ですリューら。（2022）彼らが Neural Singing Voice Beautifier (NSVB) と呼ばれる新しい生成モデルを提案したとき。

NSVB は、潜在マッピングアルゴリズムを使用した半教師あり学習モデルで、ピッチ補正器として機能し、声の調子を改善します。この作品は音楽業界の改善を約束しており、一見の価値があります。

2) 最適化アルゴリズムの象徴的発見

ディープニューラルネットワークモデルはかつてないほど大きくなり、トレーニングプロセスを簡素化するために多くの研究が行われてきました。 Google チームによる最近の調査 (チェン等。 (2023)) は、Lion (EvoLved Sign Momentum) と呼ばれるニューラルネットワークの新しい最適化を提案しました。この方法は、このアルゴリズムがよりメモリ効率が高く、必要な学習率が Adam よりも小さいことを示しています。見逃してはならない多くの約束を示す素晴らしい研究です。

3) TimesNet: 一般的な時系列分析のための一時的な 2D 変動モデリング

時系列分析は、多くの企業で一般的な使用例です。たとえば、価格予測、異常検出などです。しかし、現在のデータ (1D データ) のみに基づいて一時的なデータを分析するには多くの課題があります。それが理由ですウーら（2023） 1D データを 2D データに変換する TimesNet と呼ばれる新しい方法を提案し、実験で優れたパフォーマンスを実現します。この新しい方法は、将来の時系列分析に役立つため、論文を読んでこの新しい方法をよりよく理解する必要があります。

4) OPT: 事前トレーニング済みの Transformer 言語モデルを開く

現在、私たちはジェネレーティブ AI の時代にあり、多くの大規模な言語モデルが企業によって集中的に開発されました。ほとんどの場合、この種の研究はモデルをリリースしないか、市販されるだけです。ただし、メタ AI 研究グループ (チャン他。（2022）) は、GPT-3 に匹敵する Open Pre-trained Transformers (OPT) モデルを公開することで、反対のことを行おうとしています。この論文は、グループがすべての詳細を論文に記録しているため、OPT モデルと研究の詳細を理解するための素晴らしい出発点です。

5) REaLTabFormer: トランスフォーマーを使用した現実的なリレーショナルデータと表形式データの生成

生成モデルは、テキストや画像の生成だけでなく、表形式のデータの生成にも限定されません。この生成されたデータは、多くの場合、合成データと呼ばれます。合成表形式データを生成するモデルは数多く開発されましたが、リレーショナル表形式合成データを生成するモデルはほとんどありませんでした。まさにこれが狙い目ソラトリオとデュプリエ (2023) リサーチ; 合成リレーショナルデータ用の REaLTabFormer というモデルを作成します。実験は、結果が既存の合成モデルに正確に近いことを示しており、これは多くのアプリケーションに拡張できます。

6) 強化学習は自然言語処理に適していますか?: 自然言語ポリシー最適化のベンチマーク、ベースライン、ビルディングブロック

概念的に強化学習は、自然言語処理タスクにとって優れた選択肢ですが、それは本当ですか? これは、ラママーシー等。 (2022) 答えてみてください。研究者はさまざまなライブラリとアルゴリズムを紹介し、強化学習手法が NLP タスクの教師あり手法と比較してどこに優位性があるかを示します。スキルセットの代替が必要な場合は、読むことをお勧めします。

7) ビデオの調整: テキストからビデオへの生成のための画像拡散モデルのワンショット調整

テキストから画像への生成は 2022 年に大きく、2023 年にはテキストからビデオ (T2V) 機能に投影されるでしょう。による研究ウーら（2022）は、多くのアプローチで T2V を拡張する方法を示しています。この研究では、主題とオブジェクトの変更、スタイルの転送、属性の編集などの T2V タスクをサポートする新しい Tune-a-Video 手法が提案されています。

8) PyGlove: ML のアイデアをコードとして効率的に交換する

効率的なコラボレーションは、特に機械学習分野の複雑さが増す中で、どのチームでも成功への鍵となります。効率を育てるために、鵬等。 (2023) ML のアイデアを簡単に共有するための PyGlove ライブラリを提示します。 PyGlove のコンセプトは、パッチ適用ルールのリストを通じて ML 研究のプロセスをキャプチャすることです。このリストは、あらゆる実験シーンで再利用できるため、チームの効率が向上します。多くの人がまだ解決していない機械学習の問題を解決しようとする研究なので、読む価値があります。

8) ChatGPT は人間の専門家にどれくらい近いですか? 比較コーパス、評価、検出

ChatGPT は世界を大きく変えました。一般の人々はすでにChatGPTの使用を支持しているため、ここからトレンドが上向きになると言っても過言ではありません. しかし、Human Experts と比較して、ChatGPT の現在の結果はどうですか? まさにその質問です Guo等。（2023）答えてみてください。チームは専門家からデータを収集し、ChatGPT プロンプトの結果を比較しました。結果は、ChatGPT と専門家の間に暗黙の違いがあったことを示しています。この研究は、ジェネレーティブ AI モデルが時間の経過とともに成長し続けるにつれて、今後も求められると思われるものなので、読む価値があります。

2023 年は、現在のトレンド、特に ChatGPT や Stable Diffusion などの生成 AI が示す機械学習研究にとって素晴らしい年です。現在の基準を変える可能性のある有望な結果が示されているため、見逃してはならない有望な研究がたくさんあります。この記事では、生成モデル、時系列モデルからワークフローの効率性まで、ML に関する 9 つの論文を紹介しました。お役に立てば幸いです。

コーネリアス・ユダ・ウィジャヤ は、データサイエンスアシスタントマネージャー兼データライターです。 Allianz Indonesia でフルタイムで働いている間、彼はソーシャルメディアやライティングメディアを通じて Python とデータのヒントを共有するのが大好きです。