SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks

대규모 언어 모델을 스파이크 신경망으로 재구성하는데 성공했다는 소식입니다. 대규모 언어 모델을 학습 시키고 구동하려면 대규모의 컴퓨팅 자원이 필요합니다. 이를 극복하는 하나의 방법이 스파이크 신경망입니다.

인공 신경망이 생물학적인 신경망을 따라하기는 했지만 전기 신호를 전달하는 방법이 다릅니다. 인공 신경망은 지속적인 신호를 주고 받는 반면에 생물학적인 신경망은 단속적인 스파이크 형태로 신호를 주고 받습니다. 그래서 생물학적인 신경망은 훨씬 적은 에너지로 작동할 수 있습니다.

인공 신경망도 이런 스파이크 방식으로 신호를 전달하게 만들 수 있다면 구동하는데 훨씬 적은 에너지를 필요로 하게 됩니다.

논문 https://arxiv.org/abs/2302.13939 깃허브 https://github.com/ridgerchu/SpikeGPT