Apple, 사용 가능한 dRAM 용량을 초과하는 장치에서 LLM을 실행하는 방법에 대한 논문 발표

Apple은 Edge 사용 사례에 맞게 LLM을 최적화합니다.

  • 애플이 DRAM 용량을 초과하는 LLM을 효율적으로 구동하기 위한 방법을 개발했으며, 이는 플래시 메모리에 모델 파라미터를 저장하고 필요시 DRAM으로 이동하는 방식입니다.

  • 이 기술은 플래시 메모리에서 데이터를 더 크고 연속적인 덩어리로 읽는 것을 포함해, 데이터 전송량 감소와 효율적인 읽기 방식을 최적화합니다.

  • 애플의 연구는 iOS 18에서 생성 AI 기능을 통합하는 계획의 중요한 부분으로, Siri와 메시지 앱의 향상된 대답과 자동 완성 기능에 기여할 예정입니다.