- 구글 리서치의 ‘Attention Is All You Need’ 라는 논문은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망을 의미
- 데이터의 양이 증가할수록 트랜스포머 모델이 기존의 신경망 모델을 압도
- 따라서 데이터 양의 중요도가 급격하게 증가
전체 대화
[두 개의 논문] https://t.me/ygamsung
- 문돌이주의, 지적 환영
- 브린과 페이지는 98년 구글로 명명한 서치엔진에 관한 논문을 발표합니다.
- 두 스탠포드 대학원생은 해당 논문에서 계속해서 증가하는 웹 환경속에서 확장가능하며 효율적인 서치엔진의 필요성을 역설합니다.
- 야후와 같이 인간이 인덱싱하는 서치엔진은 특정 주제에 대해서는 효율적일 수 있으나 광범위한 범위를 다루지 못하고, 매 순간 늘어나는 데이터를 감당할 수 없다고 본 것입니다.
- 그래서 그들은 어떻게 데이터를 ‘효과적으로’ 모으고 우선순위를 설정하고 처리할 것인지에 대해 연구했습니다.
- 해당 논문에서 제시했던 방법 중 하나는 ‘페이지랭크’라는 방법인데 하이퍼링크가 높을수록 우선순위를 두는 것입니다. 이러한 방식을 사용했더니 260만개의 웹페이지를 가정집 컴퓨터로도 몇 시간내에 정리할 수 있었다고 합니다.
- 그렇게 웹과 관련된 빅데이터를 누구보다 먼저 분석, 수집, 정리한 구글은 20년간 서치엔진의 왕으로 군림했습니다.
- 마이크로소프트도 야후도 구글의 아성에 도전해보았지만 데이터의 힘을 이길 수는 없었습니다. 구글의 서치엔진환경은 데이터가 쌓이면서 기하급수적으로 개선되고 후발주자는 그 어떠한 방법으로도 그 격차를 따라잡을 수 없었기 때문입니다.
- 그리고 구글은 17년 AI 분야의 모든 것을 뒤집는 ‘Attention Is All You Need’라는 논문을 발표합니다.
- 엔비디아의 블로그에 따르면 트랜스포머 모델은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망입니다.
- 트랜스포머 모델과 기존의 신경망의 핵심적 차이는 데이터량에 따른 결과의 차이입니다. 데이터 의 양이 적을 때에는 기존의 신경망이 트랜스포머 모델보다 훨씬 나은 결과를 나타내는데, 데이터의 양이 증가할수록 트랜스포머 모델이 기존의 신경망 모델을 압도합니다.
- ChatGPT는 180bn 파라미터의 데이터가, 오토파일럿은 수많은 테슬라 유저들의 운행데이터가 차이를 만들어내는 핵심입니다.
- 98년의 브린과 페이지의 논문, 17년의 바스와니의 논문은 모두 서치엔진과 신경망 학습방법을 완전히 뒤바꾸었습니다. 그리고 그 두 논문의 핵심은 모두 빅데이터에 있습니다.
- 따라서 23년은 03년만큼이나 데이터의 중요성이 커지고 있습니다. 그리고 지금의 격차는 구글과 야후의 그것처럼 다시는 좁혀지지 못할 것일 수도 있습니다.