llama.cpp

项目介绍

以纯 C/C++ 实现 GGML 量化与推理,不装 CUDA 也能在 CPU 上跑,Apple Silicon 走 Metal、显卡走 Vulkan / CUDA。项目还定义了 GGUF 模型格式并自带 llama-server,大量本地部署方案都建立在它之上。