Paddler
Open SourceApache-2.0LLM load balancer and serving platform for self-hosting LLMs at scale 🏓🦙 Alternative to projects like llm
Beschreibung
Open-source LLM load balancer and serving platform for self-hosting LLMs at scale 🏓🦙 Alternative to projects like llm-d, Docker Model Runner, etc but with less moving parts and simple deployments built around ggml ecosystem. Runs on CPU and GPU.
Vorschau
Plattformen
LinuxmacOSDocker
Ersetzt folgende proprietäre Tools
ChatGPT API→Paddler
Midjourney→Paddler
DALL-E→Paddler
Selbst hosten
Paddler kann auf eigener Infrastruktur betrieben werden. Besuche die offizielle Dokumentation für eine Installationsanleitung.
Zur Dokumentation →Kategorien
Tags
#ai#llamacpp#llm#llmops#load-balancer
Ähnliche Tools
AI Dictation
Quelloffene Spracheingabe für Desktop und Mobilgeräte
↳SuperwhisperWispr Flow+1
MIT● Einfach
Okt 2026
Ollama
Große Sprachmodelle lokal und unkompliziert ausführen
105.0k
↳ChatGPTMidjourney+1
MIT● Einfach
Okt 2026
L
LocalAI
Lokale OpenAI-kompatible API für verschiedene KI-Modelle
26.0k
↳ChatGPTMidjourney+1
MIT●● Mittel
Okt 2026