https://ai.facebook.com/blog/yann-lecun-ai-model-i-jepa/
메타의 최고 AI 과학자인 얀 르쿤이 AI 시스템의 주요한 한계를 극복하려는 새로운 아키텍처를 제안했습니다. 그의 비전은 세상이 어떻게 작동하는지에 대한 내부 모델을 학습할 수 있는 기계를 만드는 것입니다.
I-JEPA라는 모델은 외부 세상의 내부 모델을 생성하며, 이미지의 추상적 표현을 비교함으로써 학습합니다. 이 모델은 다양한 컴퓨터 비전 작업에서 강력한 성능을 발휘하며, 계산적 효율성도 뛰어납니다.
JEPA 아키텍처는 입력의 일부분의 표현을 다른 부분의 표현에서 예측하는 것을 목표로 합니다. 이는 높은 추상화 수준에서 표현을 예측함으로써, 유용한 표현을 직접 배우는 데 희망을 걸고 있습니다.
I-JEPA는 사람들이 가진 일반적인 이해와 유사한 추상적 표현에서 누락된 정보를 예측하는 것이 핵심 아이디어입니다. 이는 모델이 더 의미적인 특징을 배우도록 이끕니다.
I-JEPA는 학습이 계산적으로 효율적입니다. 한 가지 이미지의 관점만을 처리하면 되므로, 여러 관점을 만들기 위해 더 많은 계산적 부담이 발생하는 데이터 증강을 적용하는 데 필요한 오버헤드가 없습니다.
I-JEPA는 인공 지능에서 인간 수준의 지능으로의 한 걸음을 보여줍니다. 이것은 곧 세계를 일반적으로 이해하는 학습 방법을 적용하고 확장하는 중요한 단계입니다.
I-JEFA 깃허브 :
https://github.com/gaasher/I-JEPA
I-JEFA 논문 :
https://arxiv.org/abs/2301.08243
