OpenClaw mit offenen Modellen über Hugging Face oder lokal weiterbetreiben

OpenClaw-, Pi- oder Open Code-Agenten lassen sich laut Hugging Face auf offene Modelle umstellen, entweder über Hugging Face Inference Providers oder durch den vollständigen lokalen Betrieb auf eigener Hardware. Die gehostete Variante wird als schnellster Weg zurück zu einem einsatzfähigen Agenten beschrieben, der lokale Weg als passend für Privatsphäre, keine API-Kosten und volle Kontrolle.

Für die Nutzung über Hugging Face Inference Providers wird zunächst ein Hugging Face-Token benötigt. Dieses kann in OpenClaw mit openclaw onboard –auth-choice huggingface-api-key hinterlegt werden. Danach lässt sich ein Modell auswählen. Empfohlen wird GLM-5 mit Verweis auf gute Terminal Bench-Werte, daneben verweist Hugging Face auf eine große Zahl weiterer verfügbarer Modelle.

Das verwendete Hugging Face-Modell kann später über seine repo_id in der OpenClaw-Konfiguration geändert werden, etwa mit huggingface/zai-org/GLM-5:fastest als primärem Modell. Zusätzlich nennt Hugging Face, dass HF-PRO-Abonnenten monatlich 2 US-Dollar an Freiguthaben erhalten, die auch für Inference Providers gelten.

Als zweite Option beschreibt der Beitrag den lokalen Betrieb offener Modelle mit llama.cpp, einer Open-Source-Bibliothek für Inferenz mit geringem Ressourcenbedarf. Die Installation wird für macOS, Linux und Windows skizziert. Anschließend kann ein lokaler Server mit integrierter Web-Oberfläche gestartet werden, im Beispiel mit unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL.

Im Beispiel wird Qwen3.5-35B-A3B verwendet, das laut Beitrag gut mit 32 GB RAM funktioniert. Für andere Anforderungen verweist Hugging Face auf die jeweilige Hardware-Kompatibilität des gewählten Modells. Wenn das GGUF-Modell in llama.cpp geladen ist, kann OpenClaw über eine Konfiguration mit lokaler base URL, Modell-ID, API-Key und OpenAI-Kompatibilität angebunden werden. Ob Server und Modell korrekt laufen, lässt sich per Aufruf von http://127.0.0.1:8080/v1/models prüfen.

Hugging Face stellt die Abwägung klar gegenüber: Inference Providers sind für den schnellsten Wiedereinstieg gedacht, llama.cpp für Privatsphäre, vollständige lokale Kontrolle und den Verzicht auf API-Rechnungen. Ein geschlossenes gehostetes Modell sei dafür nicht erforderlich.

Quelle

Originalquelle: Hugging Face Blog

Aktuelle Artikel

spot_img

Ähnliche Artikel

Leave A Reply

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein

Bleib auf dem Laufenden – Hol dir die täglichen Nachrichten direkt in deinen Posteingang