저전력 추론용 AI 전용 machin & system
시대별 application의 요구사항에 따라 compute system도 변해왔는데 AI를 위해 설계된 system이 부족함
NVIDIA GPU는 너무 무거움.
NPU는 eco system을 구축하기에 모자람
RISCV가 미래가 될 수 있음.
Long context AI model
이젠 model의 크기보다 context를 늘리는게 중요함.
ChatGPT는 context learning의 무한한 가능성을 보여줌.
하지만 transformer는 태생적 한계로 context를 무한히 늘리는게 불가능함.
long context를 효과적으로 다루기 위한 시도가 꾸준히 있어왔고 mamba는 하나의 대안이 될 수 있음.
그 중 Jamba가 굉장히 흥미로움
RULER benchmark에서 transformer 모델 대비 long context 처리 성능이 뛰어남
Nocode AI
AI killer app이 없어서 AI 거품이 꺼지는 중
중앙화된 app을 만들려고 하니까 killer app이 안됨
기존에 app이라는건 상대적으로 극소수의 사람들이 app이라는 content를 만들고 user들은 소비하는 business model이었다면, AI는 훨씬더 많은 사람들이 생산자가 되어서 초개인화된 app을 만들고 소비할 수 있어야 하고 AI는 그게 가능한 알고리즘임
단순히 chatbot형으로 만들면 한계가 있고 nocode로 AI와 다른 서비스들을 포함 다 연결해서 하나의 small app을 마구잡이로 만들고 배포, 검색, 사용이 한곳에서 가능해야 AI가 의미있게 사용될 수 있음
AI업계에 중요한 것들
5