- 구글 리서치의 ‘Attention Is All You Need’ 라는 논문은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망을 의미
- 데이터의 양이 증가할수록 트랜스포머 모델이 기존의 신경망 모델을 압도
- 따라서 데이터 양의 중요도가 급격하게 증가
전체 대화
[두 개의 논문] https://t.me/ygamsung
- 문돌이주의, 지적 환영
- 브린과 페이지는 98년 구글로 명명한 서치엔진에 관한 논문을 발표합니다.
- 두 스탠포드 대학원생은 해당 논문에서 계속해서 증가하는 웹 환경속에서 확장가능하며 효율적인 서치엔진의 필요성을 역설합니다.
- 야후와 같이 인간이 인덱싱하는 서치엔진은 특정 주제에 대해서는 효율적일 수 있으나 광범위한 범위를 다루지 못하고, 매 순간 늘어나는 데이터를 감당할 수 없다고 본 것입니다.
- 그래서 그들은 어떻게 데이터를 ‘효과적으로’ 모으고 우선순위를 설정하고 처리할 것인지에 대해 연구했습니다.
- 해당 논문에서 제시했던 방법 중 하나는 ‘페이지랭크’라는 방법인데 하이퍼링크가 높을수록 우선순위를 두는 것입니다. 이러한 방식을 사용했더니 260만개의 웹페이지를 가정집 컴퓨터로도 몇 시간내에 정리할 수 있었다고 합니다.
- 그렇게 웹과 관련된 빅데이터를 누구보다 먼저 분석, 수집, 정리한 구글은 20년간 서치엔진의 왕으로 군림했습니다.
- 마이크로소프트도 야후도 구글의 아성에 도전해보았지만 데이터의 힘을 이길 수는 없었습니다. 구글의 서치엔진환경은 데이터가 쌓이면서 기하급수적으로 개선되고 후발주자는 그 어떠한 방법으로도 그 격차를 따라잡을 수 없었기 때문입니다.
- 그리고 구글은 17년 AI 분야의 모든 것을 뒤집는 ‘Attention Is All You Need’라는 논문을 발표합니다.
- 엔비디아의 블로그에 따르면 트랜스포머 모델은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망입니다.
- 트랜스포머 모델과 기존의 신경망의 핵심적 차이는 데이터량에 따른 결과의 차이입니다. 데이터의 양이 적을 때에는 기존의 신경망이 트랜스포머 모델보다 훨씬 나은 결과를 나타내는데, 데이터의 양이 증가할수록 트랜스포머 모델이 기존의 신경망 모델을 압도합니다.
- ChatGPT는 180bn 파라미터의 데이터가, 오토파일럿은 수많은 테슬라 유저들의 운행데이터가 차이를 만들어내는 핵심입니다.
- 98년의 브린과 페이지의 논문, 17년의 바스와니의 논문은 모두 서치엔진과 신경망 학습방법을 완전히 뒤바꾸었습니다. 그리고 그 두 논문의 핵심은 모두 빅데이터에 있습니다.
- 따라서 23년은 03년만큼이나 데이터의 중요성이 커지고 있습니다. 그리고 지금의 격차는 구글과 야후의 그것처럼 다시는 좁혀지지 못할 것일 수도 있습니다.