Paddler
Open Source Apache-2.0Open-source LLM load balancer and serving platform for self-hosting LLMs at scale 🏓🦙 Alternative to projects like llm...
Website
paddler.intentee.com GitHub
intentee/paddler Schwierigkeit
● Einfach Letzte Prüfung
2026-02-25 Beschreibung
Open-source LLM load balancer and serving platform for self-hosting LLMs at scale 🏓🦙 Alternative to projects like llm-d, Docker Model Runner, etc but with less moving parts and simple deployments built around ggml ecosystem. Runs on CPU and GPU.
Vorschau
Plattformen
Linux macOS Docker
Ersetzt folgende proprietäre Tools
ChatGPT API → Paddler
Midjourney → Paddler
DALL-E → Paddler
Selbst hosten
Paddler kann auf eigener Infrastruktur betrieben werden. Besuche die offizielle Dokumentation für eine Installationsanleitung.
Zur Dokumentation →Kategorien
Tags
#ai
#llamacpp
#llm
#llmops
#load-balancer
Ähnliche Tools
Ollama
Große Sprachmodelle lokal und unkompliziert ausführen
MIT ● Einfach Selbst hostbar
ChatGPT Midjourney DALL-E
Zuletzt: Feb 2026 105.0k
Details ansehen →
LocalAI
Lokale OpenAI-kompatible API für verschiedene KI-Modelle
MIT ●● Mittel Selbst hostbar
ChatGPT Midjourney DALL-E
Zuletzt: Feb 2026 26.0k
Details ansehen →
Stable Diffusion WebUI
Leistungsstarke Benutzeroberfläche für KI-Bildgenerierung
AGPL-3.0 ●● Mittel Selbst hostbar
ChatGPT Midjourney DALL-E
Zuletzt: Feb 2026 145.0k
Details ansehen →