Apple은 Edge 사용 사례에 맞게 LLM을 최적화합니다.
애플이 DRAM 용량을 초과하는 LLM을 효율적으로 구동하기 위한 방법을 개발했으며, 이는 플래시 메모리에 모델 파라미터를 저장하고 필요시 DRAM으로 이동하는 방식입니다.
이 기술은 플래시 메모리에서 데이터를 더 크고 연속적인 덩어리로 읽는 것을 포함해, 데이터 전송량 감소와 효율적인 읽기 방식을 최적화합니다.
애플의 연구는 iOS 18에서 생성 AI 기능을 통합하는 계획의 중요한 부분으로, Siri와 메시지 앱의 향상된 대답과 자동 완성 기능에 기여할 예정입니다.