Streaming & Tool-/Function-Calling
Inkrementelles Chat-Streaming im SSE-Stil und OpenAI-kompatibles Tool-Calling hinter einer provider-agnostischen Schnittstelle – mit Budget-, Nutzungs- und Telemetrie-Erfassung auf jedem Pfad.
nr-llm
Feature-Deep-Dives
Ausführlichere, entwicklerorientierte Durchläufe der detailreichsten Features – wozu sie da sind, warum es sie gibt, wie sie funktionieren und wie man sie nutzt. Jede Seite verlinkt die maßgeblichen ADRs und die Entwicklerdokumentation.
RAG-Site-Search-Tools
Zwei Function-Calling-Tools, die das Modell im eigenen öffentlichen Content der Website verankern und dabei den jeweils installierten TYPO3-Suchindex lesen, mit einem Datenbank-Fallback.
Provider-Abstraktion, Fallback & verschlüsselte Keys
Eine Schnittstelle über sieben Chat-Provider-Adapter hinweg, mit Fallback auf Konfigurationsebene und API-Keys, die als nr-vault-UUIDs statt im Klartext gespeichert werden.
Agent-Läufe und menschliche Freigabe
Ein Lebenszyklus für jeden Agent-Lauf, ob synchron oder auf einem Queue-Worker, und eine menschliche Freigabe vor jedem Aufruf eines Builtin-Tools, das in die Installation schreibt.
Governance & Modell-Routing
Eine Routing-Entscheidung mit Begründung für jeden Kandidaten, ein Kontextbudget nach dem Modell, das tatsächlich antwortet, Datenklassen gegen Vertrauenszonen der Provider und Kosten pro Aufruf, zugeordnet zur aufrufenden Extension.
MCP-Client: externe Tools im zentralen Katalog
nr-llm verbindet sich per HTTP mit externen Model-Context-Protocol-Servern und registriert deren Tools neben den eingebauten – hinter demselben Gate, derselben Freigabe und demselben Audit.