2023 年最值得阅读的机器学习论文

由柏拉图重新发布

关注： 0

2023 年值得阅读的顶级机器学习论文
图片由 pc.vector on Freepik

机器学习是一个很大的领域，新的研究经常出现。这是一个热门领域，学术界和工业界不断尝试新事物来改善我们的日常生活。

近年来，由于机器学习的应用，生成式人工智能正在改变世界。例如，ChatGPT 和 Stable Diffusion。即使 2023 年由生成式人工智能主导，我们也应该意识到更多的机器学习突破。

以下是 2023 年最值得阅读的机器学习论文，这样您就不会错过即将到来的趋势。

1）学习歌曲中的美感：神经歌声美化器

歌声美化 (SVB) 是生成式 AI 中的一项新颖任务，旨在将业余歌声改善为优美的声音。这正是研究的目的刘等人。（2022）当他们提出一种称为神经歌唱语音美化器（NSVB）的新生成模型时。

NSVB 是一种半监督学习模型，使用潜在映射算法充当音调校正器并改善声调。这项工作有望改善音乐产业，值得一试。

2）优化算法的符号发现

深度神经网络模型变得比以往任何时候都大，并且已经进行了大量研究来简化训练过程。谷歌团队最近的研究（陈等人。 (2023)) 提出了一种新的神经网络优化方法，称为 Lion (EvoLved Sign Momentum)。该方法表明该算法比 Adam 具有更高的内存效率并且需要更小的学习率。这是一项伟大的研究，显示了许多您不应错过的承诺。

3) TimesNet：用于一般时间序列分析的时间二维变化建模

时间序列分析是许多企业的常见用例；例如，价格预测、异常检测等。但是，仅基于当前数据（一维数据）分析时态数据存在许多挑战。因此吴等。 (2023) 提出了一种称为TimesNet的新方法将一维数据转换为二维数据，在实验中取得了很好的性能。您应该阅读这篇论文以更好地理解这种新方法，因为它将对未来的时间序列分析大有帮助。

4）OPT：开放预训练的Transformer Language Models

目前，我们正处于一个生成式人工智能时代，许多大型语言模型被公司密集开发。大多数情况下，这种研究不会发布他们的模型或只能在商业上获得。然而，Meta AI 研究小组（张等人。（2022）) 试图通过公开发布可以与 GPT-3 相媲美的开放式预训练变形金刚 (OPT) 模型来做相反的事情。这篇论文是理解 OPT 模型和研究细节的良好开端，因为该小组在论文中记录了所有细节。

5) REaLTabFormer：使用转换器生成真实的关系和表格数据

生成模型不仅限于生成文本或图片，还可以生成表格数据。这种生成的数据通常称为合成数据。开发了许多模型来生成合成表格数据，但几乎没有模型来生成关系表格合成数据。这正是 Solatorio 和 Dupriez (2023) 研究; 为合成关系数据创建一个名为 REaLTabFormer 的模型。实验表明，该结果与现有的合成模型准确接近，可以扩展到许多应用。

6) 强化学习（不是）用于自然语言处理吗？：自然语言策略优化的基准、基线和构建块

强化学习在概念上是自然语言处理任务的绝佳选择，但这是真的吗？这是一个问题 Ramamurthy 等人。 (2022) 试着回答。研究人员介绍了各种库和算法，展示了强化学习技术在 NLP 任务中与监督方法相比的优势所在。如果您想要其他技能组合，建议您阅读这篇论文。

7) Tune-A-Video：用于文本到视频生成的图像扩散模型的一次性调整

文本到图像的生成在 2022 年很盛行，而 2023 年预计将出现文本到视频 (T2V) 功能。研究者吴等。 (2022) 展示了如何在许多方法上扩展 T2V。该研究提出了一种新的 Tune-a-Video 方法，支持 T2V 任务，例如主客体更改、风格转换、属性编辑等。如果您对文本到视频的研究感兴趣，那么这篇论文非常值得阅读。

8) PyGlove：以代码的形式高效地交换 ML 思想

高效协作是任何团队成功的关键，尤其是在机器学习领域日益复杂的情况下。为了培养效率，彭等人。 (2023) 展示一个 PyGlove 库来轻松分享 ML 想法。 PyGlove 的概念是通过一系列修补规则来捕捉 ML 研究的过程。然后可以在任何实验场景中重复使用该列表，从而提高团队的效率。它的研究试图解决许多人尚未解决的机器学习问题，因此值得一读。

8) ChatGPT 与人类专家的距离有多近？比较语料库、评估和检测

ChatGPT 极大地改变了世界。可以肯定地说，由于公众已经支持使用 ChatGPT，因此趋势将从这里上升。但是，与人类专家相比，ChatGPT 当前的结果如何？这正是一个问题郭等人。（2023）试着回答。该团队试图从专家和 ChatGPT 提示结果中收集数据，并将其进行比较。结果表明，ChatGPT 和专家之间存在隐性差异。由于生成式 AI 模型会随着时间的推移而不断发展，因此我认为该研究会在未来不断被问及，因此值得一读。

从目前的趋势来看，2023 年是机器学习研究的丰收年，尤其是 ChatGPT 和 Stable Diffusion 等生成式 AI。我认为我们不应错过许多有前途的研究，因为它显示了可能改变当前标准的有前途的结果。在本文中，我向您展示了 9 篇值得阅读的顶级 ML 论文，从生成模型、时间序列模型到工作流效率。我希望它有所帮助。

科尼利厄斯·尤达·维贾亚 是一名数据科学助理经理和数据作家。在 Allianz Indonesia 全职工作期间，他喜欢通过社交媒体和写作媒体分享 Python 和数据技巧。