vLLM

프로젝트 소개

PagedAttention으로 메모리를 관리하고 연속 배치로 동시성을 높여, 단일 GPU와 멀티 GPU 클러스터 모두에서 생성 처리량이 눈에 띄게 올라갑니다. OpenAI 호환 서버 엔드포인트, 양자화, 텐서 병렬화를 제공해 대규모 온라인 추론에서 자주 선택되는 엔진입니다.