[3.30 정보] MS 논문 발표 - TaskMatrix AI

• 인공지능 기술이 매우 발전하여 도메인 업무에도 높은 수준의 솔루션을 제공할 수 있게됨.
• 도메인 특화 데이터 부족으로 인한 어려움이나, 정확한 실행이 필요한 특수 업무에서 신경망 계산 오류 등의 문제 발생 or 구현 방식, 동작 메커니즘 차이로 호환X
• 이 문제 해결하기 위해 TaskMatrix.AI + API 결합 → 새로운 AI 생태계 생성 
    ( 인공지능 중앙 시스템 ChatGPT - 하위 작업 해결자 Plugin )
• TaskMatrix.AI는 대화형 AI를 통해 사용자가 작업을 수행할 수 있도록 돕는 프레임워크 ( 중간 과정 )

MCFM (멀티모달 대화 기본 모델, 그림+텍스트 등 여러 모델이 합쳐진 방식 = 멀티모달 )
대화하면서 자세한 요구사항, 정보 파악 → 특정 API추천 → 실행코드 생성 → API 호출, 결과 제공
일을 모두 처리하면 이것을 '사용자 의견'으로 Feedback → API 개발자 / AI 인공지능에 재전달
→ 학습 선순환 발생

API플랫폼은 인공지능(ChatGPT)이 효율적으로 작동할 수 있도록 문서 형식 통합 필요

이 방식의 장점 : 1. API 활용해서 ChatGPT가 많은 것을 수행할 수 있음. 2. AI가 작업 할당 방식 관측하면서 AI의 "사고"를 이해 가능

이것이 작동하는 시나리오를 살펴보겠습니다.

1.  사용자가 원하는 작업 분석 ( 사과 노인으로 바꾸기, 노인 배경 바꾸기, 이미지 해석하기, 실제 이미지로 스케치하기 등 사용자가 원하는대로 이미지 처리작업 가능 )

2. 그림 확장하기 가능 ( 내부적으로 그림이 뭔지 판단한다음에 어떤식으로 작업해야 할지 스스로 생각한다음에 실행함 )

3. AI가 직접 문제를 던지고 솔루션을 제공함 ( Text + Image ). → 사용자가 선택 → 내부적으로 API + prompt 작동...

4. 결론적으로 위와같은 작업물이 도출되게 됨.

5. 사무작업에 필요한 일도 가능함. ( 내부 코드 + API 작동 )

6. 이미지 작업도 가능

7. 비서역할도 가능






결론 ( 정말 쉽게 간단 요약 )

1.  멀티모달(이미지+텍스트 같이 쓰는) AI가 유저랑 대화하면서 작업 수행