Les ours chargent la page…
Communauté d’évaluation IA XiuZon · deux ours s’affrontent
vLLM Community
Moteur d’inférence et de service à haut débit pour les grands modèles
Visiter le projetGère la mémoire vidéo avec PagedAttention et améliore le débit grâce au traitement par lots continu : la génération est nettement plus rapide, sur une seule carte comme sur un cluster multi-GPU. Fournit des points d’accès compatibles OpenAI, la quantification et le parallélisme tensoriel, ce qui en fait un choix courant pour l’inférence à grande échelle en production.
Composer la génération d’images et de vidéos avec un workflow de nœuds
Open SourceFaire tourner l’inférence d’un grand modèle sur n’importe quelle machine
Open SourceFaire tourner un grand modèle open source en local, en une commande
Open SourceUne interface de scraping web et de structuration pensée pour l’AI