[23.05.01] 금주의 Top ML 논문 ( 4.24 ~ 4.30 )

1. 소형 휴머노이드 로봇의 축구 기술 학습
2. 토큰 백만개 확장
3. Track Anything ( Segment Anything + Video )
4. 자가 지도 학습 CookBook ( Meta )
5. LLM을 활용하는 실무자들을 위한 가이드
6. AutoGPT
7. DataComp
8. 정보추출을 위한 ChatGPT
9. 의사와 ChatGPT의 대답에 대한 환자 만족 비교
10. 대규모 언어 비전 모델 학습 가속화 + 안정화 방법

 1. Agents Learn Soccer Skills 

 2. Scaling Transformer to 1M tokens and beyond with RMT ( 백만토큰 확장 )
    ( 토큰 = 기억력 )

3. Track Anything: Segment Anything Meets Videos

4. A Cookbook of Self-Supervised Learning ( 자기 지도 학습 CookBook ) 

• SSL의 기본 기술 및 주요 개념에 대한 개요를 제공
• SSL 메소드를 성공적으로 구현하기 위한 실질적인 고려 사항을 소개
• SSL 쿡북에는 12명 이상의 저자가 제공한 인사이트가 포함
• SSL의 연구에 대한 장벽을 낮추고, 액세스를 민주화하기 위한 노력의 일환

5. Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond ( 실제 LLM의 힘 활용 : ChatGPT 및 그 이상에 대한 설문조사 )

 LLM을 사용하는 실무자를위한 포괄적이고 실용적인 가이드

• 깃헙 레포도 제공
• 실무 활용 Review paper에 가깝네요 
• 종합 가이드는 연구자와 실무자가 다양한 자연어 처리 작업에서 이러한 모델을 성공적으로 구현할 수 있도록 LLM을 활용하는 데 필요한 귀중한 인사이트와 모범 사례를 제공
• 이 백서는 자연어 처리(NLP) 작업에서 대규모 언어 모델(LLM) 작업에 대한 실무자와 최종 사용자를 위한 종합 가이드를 제공

6. AudioGPT 

• ChatGPT를 오디오 기본 모델과 연결하여 까다로운 오디오 작업을 처리
• 음성 대화를 가능하게 하는 양식 변환 인터페이스를 제공

7. DataComp 

• 12.8B 이미지-텍스트 쌍을 포함하는 새로운 멀티모달 데이터 세트 벤치마크를 출시합니다. 
• 기존 벤치마크와 달리 DataComp는 전면 및 중앙에 데이터가 있습니다
• 참가자의 목표는 코드, hparams 및 컴퓨팅을 일정하게 유지하면서 새로운 교육 세트를 제안

8. 정보 추출을 위한 ChatGPT - 중요한 정보 추출 작업에 대한 ChatGPT의 성능에 대한 심층 평가를 제공합니다. 

• Standard-IE 설정에서 ChatGPT의 성능은 대부분의 경우 BERT 기반 모델만큼 좋지 않습니다. 그러나 ChatGPT는 인간 주석가가 평가한 OpenIE 설정에서 우수한 정확도 점수를 달성
• ChatGPT는 예측에 대해 고품질의 신뢰할 수 있는 설명을 제공할 수 있습니다. 주요 문제 중 하나는 과신하는 경향으로 인해 낮은 보정이 발생한다는 것
• ChatGPT는 원본 텍스트에 대한 높은 수준의 충실도를 보여 예측이 입력 텍스트에 기반을 두고 있음을 나타냅니다

9. 의사와 ChatGPT 비교 

• ChatGPT가 환자 질문에 양질의 응답을 제공할 수 있는지 조사
• 챗봇 응답이 의사 응답보다 선호되고 품질과 공감 측면에서 더 높은 평가를 받았다

10. Stable and Low-Precision Training for Large-Scale Vision-Language Models 

• 대규모 언어 비전 모델의 학습을 가속화하고 안정화하는 방법을 소개