멀티모달 LLM 환각 문제 해결을 위한 '딱따구리' AI 등장

중국 과학기술대학교와 텐센트가 개발한 '딱따구리' 프레임워크는 멀티모달 LLM (Multimodal Large Language Modal Model)의 환각을 특정 데이터 재훈련 없이 교정할 수 있다.

딱따구리는 5단계 프로세스(핵심 개념 추출, 질문 공식화, 시각적 지식 검증, 시각적 주장 생성, 환각 교정)를 통해 문제가 되는 부분을 수정한다.

이 프레임워크의 적용 결과, 다양한 데이터세트에서 모델의 정확도가 크게 향상됨을 확인, 이는 멀티모달 LLM의 적용 범위와 활용성을 크게 향상시킬 것으로 예상된다.

https://arxiv.org/pdf/2310.16045.pdf