'스펙엣지(SpecEdge)'라는 기술인데, 이게 원리가 기가 막힙니다.
핵심은 'Speculative Decoding(추측적 디코딩)'을 온디바이스와 서버 간 협업으로 풀어낸 건데요.
로컬 GPU가 다음 토큰을 빠르게 '추측'해서 던지면, 고성능 서버 GPU가 그걸 '검증'만 하는 식입니다. 코딩할 때 - IDE 자동완성 느낌 아시죠?
벤치마크 보니까 비용 67% 절감에 처리량 2.2배 증가... 이거 상용화되면 API 비용 때문에 토이 프로젝트 망설이던 시절은 끝날 수도 있겠습니다. 🔥
