vLLMMotore per servire modelli linguistici e multimodali con API compatibili.
La documentazione distingue l’inferenza in Python dal servizio per applicazioni che chiamano un’API. Le tabelle dei modelli e dell’hardware aiutano a preparare l’installazione.
Il sito è gestito da vLLM project · PyTorch Foundation.
