LMDeploy

Strumenti per eseguire e distribuire modelli linguistici e multimodali.

Le guide confrontano i motori TurboMind e PyTorch e indicano i modelli compatibili. Il progetto documenta anche un server da integrare in altre applicazioni.

Il sito è gestito da InternLM · Shanghai AI Laboratory.