LLaMA 모델 파일 유출

이미 올라온 내용일 수도 있으나 정리해서 올려봅니다.

Meta 가 개발한 LLaMA 모델 파일이 유출됐습니다. 파라미터 크기는 7B, 13B, 30B 그리고 65B 로 나눠져있으며 각 모델의 용량은 12GB, 24GB, 60GB, 121GB 입니다.

int8 로 구현한 llama-int8[0] 레포지토리를 사용하면 RTX3090 2개로 30B 모델까지 실행할 수 있습니다. CPU 로 구현된 llama-cpu[1] 레포지토리를 사용하면 RAM 만 많다면 제일 큰 65B 모델도 실행할 수 있습니다, 속도는 생각보다 빠르다고 하네요.

스테이블 디퓨전을 쉽게 사용할 수 있는 웹 인터페이스처럼 LLaMA 도 웹 인터페이스를 통해 사용하실 수 있습니다[2][3].

모델 파일은 아래 마그넷 주소를 사용해 받으실 수 있습니다. Facebook AI Research 직원인 @glample[4] 이 토렌트로 받아도 상관 없다는 말투로 올린 답변[5]이 있어서 크게 걱정할 필요는 없을 것 같습니다.

magnet:?xt=urn:btih:b8287ebfa04f879b048d4d4404108cf3e8014352&dn=LLaMA&tr=udp%3a%2f%2ftracker.opentrackr.org%3a1337%2fannounce

[0] https://github.com/tloen/llama-int8
[1] https://github.com/markasoftware/llama-cpu
[2] https://github.com/oobabooga/text-generation-webui
[3] https://github.com/oobabooga/text-generation-webui/issues/147
[4] https://github.com/glample
[5] https://github.com/facebookresearch/llama/pull/73#issuecomment-1453872037

llama는 공개모델 아닌가요? 왜 유출이라 그러지

신청해야 모델을주는데 주는데너무오래걸려서요

그냥 다운받을수있게는안해놨습니다