Demo buchen 14 Tage kostenlos

Architektur-USP · KI-Souveränität

Euer Modell.
Euer Schlüssel.
Euer Mandant.

KI-Features im EMS laufen nicht durch unser Vendor-Konto. Jeder Mandant hinterlegt seinen eigenen LLM-Endpoint und API-Key — Azure-OpenAI im EU-West-Datacenter, Mistral-AI in Paris oder ein lokal gehostetes Modell auf eurem GPU-Cluster. LiteLLM-Proxy vereinheitlicht die API. Bei Custom-Endpoint gilt: Hard-Fail statt Silent-Fallback — Datenkontrolle bleibt bei euch, auch im Fehlerfall.

30+ Modelle in der Capability-Datenbank
4 Provider-Familien out-of-the-box
0 Silent-Fallbacks bei Custom-Endpoint
14 Tage kostenlos testen Demo buchen

Anatomie

Fünf Bausteine für echte KI-Datensouveränität

„BYO-LLM" ist bei vielen SaaS ein Häkchen in den Settings — bei uns ein durchgezogenes Architektur-Prinzip vom Tenant-Setting bis zum Inference-Layer.

Per-Tenant-Endpoint & Key

Jeder Mandant entscheidet in den KI-Settings: Standard-Proxy oder eigener Endpoint mit eigenem API-Key. Bei eigenem Endpoint sieht der Vendor die Prompts und Rückgaben nie.

  • endpointUrl
  • apiKey (verschlüsselt)
  • fallbackToGlobalProxy: false

LiteLLM-Proxy als Universal-Adapter

Eine einheitliche, OpenAI-kompatible API vor allen Providern. Wechsel von OpenAI zu Mistral oder Ollama ist eine Konfig-Änderung, kein Code-Change im EMS.

  • OpenAI
  • Azure OpenAI
  • Anthropic
  • Mistral
  • Ollama
  • LocalAI

Hard-Fail statt Silent-Fallback

Fällt euer Custom-Endpoint aus, lehnt das System die Anfrage ab — es leitet nicht heimlich zum globalen Vendor-Konto um. Datenkontrolle bleibt intakt, auch im Fehlerfall.

  • if (tenant.hasCustomEndpoint && !ok)
  • throw new InferenceUnavailableException();
  • // kein Fallback. Kein „opportunistisches" Routing.

Tool Calling mit Schema-Enforcement

Jeder Editor liefert sein eigenes JSON-Schema, generiert aus dem TypeScript-Modell. Das LLM kann gar keine Felder zurückgeben, die im Editor nicht existieren — keine Halluzination, kein Format-Bruch.

  • structuredOutput: true
  • toolCalling: true
  • capabilityCheck pro Modell

Token-Transparenz live pro Mandant

Eine Übersichtsleiste in den Mandanten-Settings zeigt verbrauchte Tokens und Kosten live — pro Feature aufgeschlüsselt. Keine versteckten „AI-Credits", keine Monatsrechnung mit Überraschung.

  • tokens.in · tokens.out
  • cost.eur live
  • aiFeature-Aufschlüsselung

Szenario 1 · Datensouveränität

Eigener Azure-Key. Vendor sieht eure Prompts nie.

Eine Anwaltskanzlei mit Mandantengeheimnis darf keine Mandantendaten an Drittanbieter-LLMs senden, ohne AVV. Sie deployt Azure-OpenAI in EU-West (Schweden), erstellt einen eigenen Service-Principal mit eigenem API-Key — und hinterlegt diesen in den KI-Settings ihres EMS-Mandanten.

Ab dem nächsten Klick auf „AI Paste" oder „Mit KI verbessern" laufen alle Anfragen ausschließlich gegen ihre eigene Azure-Tenancy. Der Vendor (Consiliari) hat keinen Zugriff auf die Prompts, keine Logs, keine Token-Counter. Die DSGVO- Datenschutzfolgenabschätzung adressiert nur noch einen Datenverarbeiter — Azure EU — statt einer Provider-Kette.

  • AVV nur mit Microsoft, nicht mit dem SaaS-Anbieter
  • EU-West-Region erzwingbar (Sweden Central, France Central)
  • Eigene Microsoft-Compliance-Inventory greift

Szenario 2 · Air-Gap

Self-Hosted Ollama. Air-gapped Forschung. KI funktioniert trotzdem.

Ein Forschungsinstitut betreibt EMS in einem isolierten Netz ohne Internet — typisch für Pharma- und Verteidigungsforschung. Statt einen externen LLM zu kontaktieren, zeigt der LiteLLM-Proxy auf einen internen Ollama-Endpoint mit Llama 3.3 70B auf dem hauseigenen GPU-Cluster.

AI Paste, AI Grid Filter und Text Enhancement laufen weiter — nur eben gegen euer Modell. Kein Bit Forschungsdaten verlässt das Netz. Keine Black-Box-Cloud. Keine Monats-Token-Rechnung.

  • Ollama, LocalAI, vLLM oder eigene OpenAI-kompatible API
  • Capability-Check passt sich an: Vision off → AI-Paste-PDF off
  • Umstellung auf Cloud-LLM später ist eine Konfig-Zeile

Szenario 3 · Modell-Routing

Ein Modell pro KI-Feature — passend zur Aufgabe.

Nicht jedes KI-Feature braucht das teuerste Modell. AI Paste mit PDF-Upload braucht Vision-Capability — also GPT-5.5. Text Enhancement profitiert von Claude Sonnet für natürlichere Tonalität. Der AI Grid Filter ist eine schnelle, einfache Tool-Call-Aufgabe — ein lokales 8-B-Modell reicht.

Pro Mandant und pro Feature konfigurierbar. Capability-Check verhindert Fehler: wer ein älteres Modell ohne Tool-Calling für AI Paste auswählt, bekommt eine klare Fehlermeldung, keine halluzinierte Antwort.

Szenario 4 · EU AI Act

EU-AI-Act-Readiness, Off-Switch und Live-Kosten — pro Mandant.

KI-Features sind pro Mandant standardmäßig aus. Aktivierung ist eine bewusste Entscheidung des Mandanten — kein heimliches Vendor-Update. Jedes einzelne Feature lässt sich separat schalten. Token und Kosten erscheinen live in den Settings, aufgeschlüsselt nach Feature.

Keine autonome Entscheidung des Modells betrifft Buchungen, Stundensätze oder Genehmigungen — KI füllt nur Felder vor und entwirft nur Texte. Das Recht-zu-überschreiben und das Audit-Log bleiben vollständig erhalten.

  • Per-Feature-Opt-In statt globaler „AI ein/aus"-Schalter
  • Live-Token- und Kostenleiste (keine versteckten Credits)
  • Keine autonomen Entscheidungen — KI ist Vorschlag, nicht Urteil

Vergleich

BYO-LLM versus Vendor-Bound-LLM

Die meisten SaaS-KI-Features laufen über ein zentrales Vendor-Konto — Salesforce Einstein, HubSpot Breeze, Personio AI. Eure Daten gehen über deren Provider-Vertrag, in deren Region, mit deren Modell-Wechsel-Politik. Unser Ansatz ist anders.

DimensionTemporalis EMSVendor-Bound-Suiten
LLM-Provider-Wahl OpenAI · Azure · Anthropic · Mistral · Ollama · LocalAI · eigene OpenAI-API fix vom Anbieter — meist OpenAI hinter dem Vorhang
API-Key-EigentumMandant hinterlegt eigenen KeyAnbieter-Konto, Mandant zahlt „AI-Credits"
Self-Hosted-OptionOllama, vLLM, LocalAI — Air-Gap möglichnicht vorgesehen, Cloud erzwungen
Custom-Endpoint-FailureHard-Fail (Datenkontrolle bleibt)irrelevant — kein Custom-Endpoint möglich
Schema-Enforcement (Tool Calling)in 10 Editoren · Schema aus TS-Modell generiertteils Freitext, teils Templates, selten Tool-Calling
Modell pro Featurejedes KI-Feature wählt eigenes Modellein Modell für alle Features
Token-Transparenzlive in Mandanten-Settings · pro Feature„AI-Credits"-Bündel, keine Echtzeit-Sicht
Per-Feature-Off-Switchjeder KI-Mode einzeln deaktivierbarglobal „AI on/off" oder gar nichts

Wollt ihr KI in eurem EMS — ohne eure Daten an unser Vendor-Konto zu geben?

14 Tage kostenlos testen, eigenen Key einsetzen, Hard-Fail-Verhalten selbst auslösen. Keine Kreditkarte, kein Sales-Anruf.

14 Tage kostenlos testen Persönliche Demo Tieferes Architektur-Briefing →