본문으로 건너뛰기

[23.04.12] MS 모델 훈련 방법 오픈소스 공개


  • ChatGPT 유사 모델: 사전 훈련된 허깅페이스 모델을 딥스피드-RLHF 시스템과 함께 사용하여 3단계의 InstructGPT 훈련을 실행하고, 추론 API를 통해 대화 상호작용을 테스트할 수 있습니다.
  • 딥스피드-RLHF 파이프라인: InstructGPT 백서의 3단계 훈련 과정(감독 미세 조정, 보상 모델 미세 조정, 인간 피드백 강화 학습)을 복제하고, 데이터 추상화 및 블렌딩 기능을 제공하여 다양한 데이터 소스로 학습할 수 있습니다.
  • 딥스피드-RLHF 시스템: DeepSpeed와 RLHF를 결합한 하이브리드 엔진으로, 추론과 훈련 모드 간 원활한 전환, 다양한 최적화 기능, 메모리 최적화 전략의 이점을 제공하며, 전체 RLHF 파이프라인의 메모리 관리와 데이터 이동 최적화를 지원합니다.

MS가 오픈소스로 풀어낸 덕에 개인화된 AI모델들이 더 빠른 속도로 출시될 수 있는 기반이 마련되었네요. 그만큼 GPT모델에 자신이 있다는 MS의 생각일까요?
1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

김욱영 프로필 이미지
김욱영2023.04.12
춘배님 좋은 정보 감사합니다. 제가 생각하기에는 오픈소스라는 것이 죄수의 딜레마에서 항상 이길 수 있는 방법이라고 생각하기 때문인데요. MS가 이를 오픈 소스로 풀어내어 작은 리소스로 개선안을 찾아내기 쉽기 때문이라고 감히 생각해봅니다. 다른 분들의 의견도 궁금하네요. 댓글로 편하게 남겨주세요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

함께 읽어보세요

AI 소식 전체 보기