2023년에 읽어야 할 최고의 머신러닝 논문

플라톤에 의해 재발행

팔로워 : 0

2023년에 읽을 최고의 기계 학습 논문
이미지로 벡터 on Freepik

기계 학습은 새로운 연구가 자주 나오는 큰 분야입니다. 학계와 산업계가 우리의 일상을 개선하기 위해 새로운 것을 계속 실험하는 뜨거운 분야입니다.

최근 몇 년 동안 생성 AI는 기계 학습의 적용으로 인해 세상을 변화시키고 있습니다. 예를 들어 ChatGPT 및 안정적인 확산이 있습니다. 2023년에 생성 AI가 지배하더라도 우리는 더 많은 기계 학습 혁신을 알아야 합니다.

다가올 트렌드를 놓치지 않도록 2023년에 읽어야 할 최고의 기계 학습 논문을 소개합니다.

1) 노래의 아름다움 배우기: 신경성 노래하는 음성 미화기

SVB(Singing Voice Beautifying)는 아마추어 노래 목소리를 아름다운 목소리로 개선하는 것을 목표로 하는 생성 AI의 새로운 작업입니다. 바로 연구목적이다. Liu 등 (2022) NSVB(Neural Singing Voice Beautifier)라는 새로운 생성 모델을 제안했을 때.

NSVB는 피치 교정기 역할을 하고 보컬 톤을 향상시키는 잠재 매핑 알고리즘을 사용하는 준지도 학습 모델입니다. 이 작업은 음악 산업을 개선할 것을 약속하며 확인할 가치가 있습니다.

2) 최적화 알고리즘의 상징적 발견

심층 신경망 모델은 그 어느 때보다 커지고 훈련 과정을 단순화하기 위해 많은 연구가 진행되었습니다. Google 팀의 최근 조사(Chenet al. (2023))는 Lion(EvoLved Sign Momentum)이라는 신경망에 대한 새로운 최적화를 제안했습니다. 이 방법은 알고리즘이 더 메모리 효율적이고 Adam보다 더 작은 학습 속도가 필요함을 보여줍니다. 놓치지 말아야 할 많은 약속을 보여주는 훌륭한 연구입니다.

3) TimesNet: 일반적인 시계열 분석을 위한 시간적 2D-변동 모델링

시계열 분석은 많은 비즈니스에서 일반적인 사용 사례입니다. 예를 들어 가격 예측, 이상 탐지 등이 있습니다. 그러나 현재 데이터(1D 데이터)만을 기반으로 시간 데이터를 분석하는 데는 많은 어려움이 있습니다. 그래서 Wuet al. (2023) 실험에서 뛰어난 성능을 발휘하는 1D 데이터를 2D 데이터로 변환하는 TimesNet이라는 새로운 방법을 제안합니다. 이 새로운 방법을 더 잘 이해하려면 백서를 읽어야 합니다. 이는 향후 시계열 분석에 많은 도움이 될 것입니다.

4) OPT: 사전 훈련된 변환기 언어 모델 열기

현재 우리는 많은 대형 언어 모델이 기업에서 집중적으로 개발된 생성 AI 시대에 있습니다. 대부분 이러한 종류의 연구는 모델을 출시하지 않거나 상업적으로만 사용할 수 있습니다. 그러나 Meta AI 연구팀(장 외. (2022))는 GPT-3와 비교할 수 있는 OPT(Open Pre-trained Transformers) 모델을 공개적으로 공개하여 반대 작업을 시도합니다. 이 논문은 그룹이 논문의 모든 세부 사항을 기록하므로 OPT 모델과 연구 세부 사항을 이해하는 데 좋은 시작입니다.

5) REaLTabFormer: 변환기를 사용하여 현실적인 관계형 및 표 형식 데이터 생성

생성 모델은 텍스트나 그림 생성에만 국한되지 않고 테이블 형식 데이터도 생성합니다. 이렇게 생성된 데이터를 합성 데이터라고 합니다. 합성 표 데이터를 생성하기 위해 많은 모델이 개발되었지만 관계형 표 합성 데이터를 생성하는 모델은 거의 없습니다. 이것이 바로 목적이다. 솔라토리오와 뒤프리에즈 (2023) 연구; 합성 관계 데이터에 대한 REaLTabFormer라는 모델을 생성합니다. 실험 결과가 기존 합성 모델에 정확하게 근접한 것으로 나타났으며, 이는 많은 애플리케이션으로 확장될 수 있습니다.

6) 강화 학습은 자연어 처리를 위한 것입니까(아닙니까?): 자연어 정책 최적화를 위한 벤치마크, 기준선 및 빌딩 블록

강화 학습은 개념적으로 자연어 처리 작업에 탁월한 선택이지만 사실입니까? 이것은 질문입니다 Ramamurthyet al. (2022) 대답을 시도하십시오. 연구자는 NLP 작업에서 지도 방식과 비교하여 강화 학습 기법이 우위에 있음을 보여주는 다양한 라이브러리와 알고리즘을 소개합니다. 자신의 기술에 대한 대안을 원한다면 읽어 볼 것을 권장하는 문서입니다.

7) Tune-A-Video: 텍스트-투-비디오 생성을 위한 이미지 확산 모델의 원샷 튜닝

텍스트-이미지 생성은 2022년에 컸고 2023년에는 텍스트-비디오(T2V) 기능에 예상됩니다. 에 의해 연구 Wuet al. (2022) 다양한 접근 방식에서 T2V를 확장할 수 있는 방법을 보여줍니다. 이 연구는 주제 및 객체 변경, 스타일 변환, 속성 편집 등과 같은 T2V 작업을 지원하는 새로운 Tune-a-Video 방법을 제안합니다. 텍스트-투-비디오 연구에 관심이 있다면 읽어보면 좋은 논문입니다.

8) PyGlove: ML 아이디어를 코드로 효율적으로 교환

효율적인 협업은 특히 머신 러닝 분야에서 복잡성이 증가함에 따라 모든 팀에서 성공의 열쇠입니다. 효율성을 키우기 위해, Penget al. (2023) ML 아이디어를 쉽게 공유할 수 있는 PyGlove 라이브러리를 제공합니다. PyGlove 개념은 패치 규칙 목록을 통해 ML 연구 프로세스를 캡처하는 것입니다. 그런 다음 모든 실험 장면에서 목록을 재사용할 수 있으므로 팀의 효율성이 향상됩니다. 많은 사람들이 아직 해보지 못한 기계 학습 문제를 해결하려는 연구이므로 읽을 가치가 있습니다.

8) ChatGPT는 인간 전문가와 얼마나 가깝습니까? 코퍼스 비교, 평가 및 탐지

ChatGPT는 세상을 많이 바꿨습니다. 대중이 이미 ChatGPT 사용을 선호하기 때문에 추세가 여기에서 상승할 것이라고 말하는 것이 안전합니다. 그러나 ChatGPT의 현재 결과는 인간 전문가와 비교하여 어떻습니까? 바로 그 질문이다. Guo et al. (2023) 대답을 시도하십시오. 팀은 전문가로부터 데이터를 수집하고 ChatGPT 프롬프트 결과를 비교했습니다. 결과는 ChatGPT와 전문가 사이에 암묵적인 차이가 있음을 보여줍니다. 이 연구는 제너레이티브 AI 모델이 시간이 지남에 따라 계속 성장할 것이기 때문에 앞으로도 계속 질문을 받을 것이라고 생각하는 것이므로 읽을 가치가 있습니다.

2023년은 현재 트렌드가 보여주는 기계 학습 연구, 특히 ChatGPT 및 Stable Diffusion과 같은 생성 AI에 대한 좋은 해입니다. 현재 표준을 바꿀 수 있는 유망한 결과를 보여주었기 때문에 우리가 놓쳐서는 안 될 유망한 연구가 많이 있습니다. 이 기사에서는 생성 모델, 시계열 모델에서 워크플로 효율성에 이르기까지 읽어야 할 상위 9개의 ML 논문을 보여 드렸습니다. 도움이 되길 바랍니다.

코넬리우스 유다 위자야 데이터 과학 보조 관리자 및 데이터 작성자입니다. Allianz Indonesia에서 풀타임으로 일하는 동안 그는 소셜 미디어와 글쓰기 미디어를 통해 Python 및 데이터 팁을 공유하는 것을 좋아합니다.