Paddler
Open Source Apache-2.0LLM load balancer and serving platform for self-hosting LLMs at scale 🏓🦙 Alternative to projects like llm
Website
paddler.intentee.com GitHub
intentee/paddler Schwierigkeit
● Einfach Letzte Prüfung
2026-05-18 Beschreibung
Open-source LLM load balancer and serving platform for self-hosting LLMs at scale 🏓🦙 Alternative to projects like llm-d, Docker Model Runner, etc but with less moving parts and simple deployments built around ggml ecosystem. Runs on CPU and GPU.
Vorschau
Plattformen
Linux macOS Docker
Ersetzt folgende proprietäre Tools
ChatGPT API → Paddler
Midjourney → Paddler
DALL-E → Paddler
Selbst hosten
Paddler kann auf eigener Infrastruktur betrieben werden. Besuche die offizielle Dokumentation für eine Installationsanleitung.
Zur Dokumentation →Kategorien
Tags
#ai
#llamacpp
#llm
#llmops
#load-balancer
Ähnliche Tools
Ollama
Große Sprachmodelle lokal und unkompliziert ausführen
105.0k
↳ ChatGPT Midjourney +1
MIT ● Einfach
LocalAI
Lokale OpenAI-kompatible API für verschiedene KI-Modelle
26.0k
↳ ChatGPT Midjourney +1
MIT ●● Mittel
Stable Diffusion WebUI
Leistungsstarke Benutzeroberfläche für KI-Bildgenerierung
145.0k
↳ ChatGPT Midjourney +1
AGPL-3.0 ●● Mittel