Jev...Jev가 뭔데?

Jev가 지난 9/15 화요일에 출시가 되면서 사람들의 관심을 많이 이끌었는데요

대체 뭐길래 사람들의 관심을 이끌었을까요? Jev는 엄청 싸고 빠른 LLM을 약간 대체할 수 있다는 점을 내세우면서 등장했습니다. 그렇다보니 사람들의 관심을 끌 수 밖에 없었던 것이죠.

그래서 Jev와 LLM이 뭐가 다르나면

예를 들어 고객 문의가 하루에 수천 건씩 들어온다고 해볼게요. 우리는 "이 문의는 결제팀, 계정팀 중 어디로 보내야하지?"라는 문제를 AI에게 시키려고 하는 상황이에요.

지금까지의 LLM모델들은 (Chatgpt, Gemini, Claude etc..) 길게 답을 알려주는 AI에요. 예를 들면 "결제팀으로 보내는게 좋겠습니다. 그 이유는 ~~ " 이런식으로요. 똑똑하지만 느리고, 프로그램이나 사람이 "결제팀"이라는 단어를 다시 찾아야만하죠. 이렇기만 하면 좋을텐데 가끔씩은 한 번쯤은 들어보셨을 할루시네이션(AI의 거짓말)을 해버려요..!!

이에 반해 Jev는 단답으로 정답을 알려주는 모델이에요. "결제팀일 확률 93%, 계정팀일 확률 7%" 이런식으로요. 글을 쓰지 않으니 빠르고, 앞서 말한 할루시네이션을 할 수도 없어요.

Jev와 LLM의 차이를 어느정도 아시겠나요?

Jev에게는 세 종류의 질문을 할 수가 있어요.

상황을 한 번 주고 질문을 여러 개 동시에 던지면 돼요. 결과는 이런 모양으로 와요.

질문: 어느 팀이 맡을까?
  choice: 결제팀            ← 가장 높은 확률의 보기
  probabilities: 결제 0.91 / 계정 0.06 / 기타 0.03
  confidence: 0.86

질문: 환불을 요청했나?
  noul: 0.95

여기서 중요한 점은 가장 높은 답 하나만이 아니라 전체 확률을 같이 준다는 점이에요. 프로그램은 이 숫자를 보고 스스로 결정해요. 예를 들어 수치가 높다면 자동으로 처리하게 하고 애매하면 사람이 개입해 판단하도록 하는거죠.

이렇다 보니 속도도 LLM보다 훨씬 빠른거죠. Jev를 만든 회사인 TypeSafe가 공개한 수치는 다음과 같아요.

LLM보다 193.6배 빠르고 444.6배 저렴하다

물론 자기네들 팀에서 만든 값들이라 편향이 있을 수도 있는 값이에요. 그럼에도 불구하고 훨씬 빠르고 싸다는 건 사실이에요.

그렇다면 이제 Jev의 내부에서는 어떤식으로 정보를 처리하는지 알아볼게요.

여기부터는 어려운 내용이 나올 수도 있어 모델 구조에 관심이 없으신 분들은 넘기셔도 돼요.

Jev는 글이 길어도 한 번만 이해하고, 질문이 여러 개여도 다시 읽지 않아요.

그리고 질문마다 따로 판단을 해요. 마지막으로 Softmax라는 확률으로 값을 처리해주는 함수를 사용해서 확률을 구해요.

TypeSafe에서 모델 아키텍쳐를 공개하지는 않아서 위 그림은 클로드와 함께 추론을 해서 만든 거에요.

초록색은 공개가 된 것이고 파란색은 실험으로 관측한 동작 주황색은 추론한거에요.

아키텍쳐는 더 찾아보고 보충을 해볼게요

Jev모델의 칭찬만 했는데 한계도 존재해요

모델이 고른 값이 항상 정답은 아닐 수 있어요.
글을 못 써요. 답안 작성, 요약, 코드 생성을 못하고 이미지도 읽지 못해요
한국어는 어느 모델과 같이 약해요.

이런 것들 이외에도 자잘한 한계들이 있어요.

Jev가 활약할 수 있는 곳은 "작은 판단을 아주 많이, 아주 빨리 해야 하는 곳"이에요.

예를 들면

문의 분류와 우선순위 정하기
위험한 명령을 실행하기 전에 한 번 걸러 주는 안전장치
AI가 쓴 글을 채점하거나 검수하는 심판 역할
에이전트가 다음에 어떤 도구를 쓸지 고르는 갈림길

과 같은 것들이 있을 수 있겠죠.

정리하면 글을 쓰고 깊이 추론하는 일은 여전히 LLM의 몫이에요. 앞으로는 말하고 설명하고 추론하는 AI 와 간단한 것들을 빠르고 싸게 판단하는 AI를 나눠서 효율적으로 워크플로우를 구축할 수 있다라는게 Jev 모델이 주는 가장 큰 의미가 아닐까 생각해요.

진짜 마지막으로 Jev는 경제학자 제번스에서 왔다고 해요. "효율이 좋아지면 오히려 수요가 늘어난다"는 제번스 역설을 AI 비용에 빗대어 만들었다고 하네요!!

관심 있으신 분들은 한 번씩 사용해보면 좋을 거 같아요!!