Moondream Photon: 파이프라인 디코딩을 통한 GPU 버블 제거
Moondream Photon: 파이프라인 디코딩을 통한 GPU 버블 제거
Moondream의 Photon 추론 엔진은 파이프라인 디코딩(pipelined decoding)이라는 기술을 구현함으로써 NVIDIA B200 GPU에서 디코드 처리량을 최대 35%까지 높입니다. 이 접근 방식은 "GPU 버블(GPU bubble)\
Moondream의 Photon 추론 엔진은 파이프라인 디코딩(pipelined decoding)이라는 기술을 구현함으로써 NVIDIA B200 GPU에서 디코드 처리량을 최대 35%까지 높입니다. 이 접근 방식은 "GPU 버블(GPU bubble)\