Xiu
VS
곰들이 페이지를 불러오는 중…
XiuZon AI 평가 커뮤니티 · 두 곰이 대결 중
AI 혁신으로 돌아가기
AI 혁신Open Source 오픈소스
llama.cpp
GGML Org
어느 머신에서나 대모델 추론을 돌릴 수 있게 만들기
프로젝트 방문프로젝트 소개
순수 C/C++로 GGML 양자화와 추론을 구현해, CUDA를 설치하지 않아도 CPU에서 돌아가고 Apple Silicon은 Metal, 그래픽 카드는 Vulkan과 CUDA를 씁니다. GGUF 모델 형식을 정의하고 llama-server를 그대로 제공해, 많은 로컬 배포 솔루션이 이 위에 세워졌습니다.
추론 엔진양자화온프레미스 배포