DSGVO-konforme KI im Mittelstand: Architektur-Leitfaden

Wer KI in Ticket-Systemen, Belegerfassung oder Vertrieb einsetzt, verarbeitet fast immer personenbezogene Daten. Dieser Leitfaden beschreibt die drei rechtlichen und technischen Voraussetzungen sowie die gängigen Betriebsmodelle für den Mittelstand.

Veröffentlicht
28. April 2026
Lesezeit
7 Min. Lesezeit
Themenbereich
KI-Architektur & Datenschutz
Gliederung anzeigen (8 Abschnitte)
  1. Was bedeutet das für Ihr Unternehmen?
  2. Wovon ein zulässiger KI-Einsatz abhängt
  3. Die drei Säulen einer DSGVO-konformen KI-Architektur
  4. Drei Architekturmuster für die Integration
  5. Typische Versäumnisse aus der Praxis
  6. Drei Grundsätze aus unseren Projekten
  7. Nächster Schritt
  8. Häufige Fragen

Was bedeutet das für Ihr Unternehmen?

Sie wollen KI im Alltag einsetzen – Belege auslesen, Helpdesk-Anfragen vorsortieren, Routine-Mails beantworten. Aber im Raum steht die Frage: „Dürfen wir das überhaupt? Was sagt der Datenschutz?“

Die kurze Antwort: Ja, wenn Sie es richtig aufsetzen. Drei Punkte müssen passen – wer Ihre Daten verarbeitet, wo Ihre Daten liegen, und warum Sie das tun dürfen. Wenn diese drei Punkte sauber geklärt sind, ist KI im Mittelstand DSGVO-konform machbar – sofern Verträge und Datenflüsse vorab geordnet werden.

Diesen Artikel sollten Sie weiterlesen, wenn Sie die drei Punkte selbst durchgehen oder Ihrem Datenschutzbeauftragten eine fundierte Vorlage geben wollen. Wir gehen jeden Punkt mit den genauen Vertrags-Klauseln und Anbieter-Empfehlungen durch, die wir aus über 400 Mittelstands-Projekten kennen. Wer einen kürzeren Weg sucht: ein 30-minütiges Erstgespräch mit uns ist meist schneller.

Wovon ein zulässiger KI-Einsatz abhängt

Ob sich KI-gestützte Abläufe im Mittelstand rechtskonform betreiben lassen, entscheidet sich an der technischen und vertraglichen Ausgestaltung. Drei Grundlagen müssen zusammenpassen: Auftragsverarbeitungsvertrag (AVV) mit dem KI-Anbieter, EU-Datenresidenz für die Verarbeitung, dokumentierte Rechtsgrundlage beim Mandanten. Wenn diese drei Säulen sauber sind, sind 80 % der typischen Mittelstands-KI-Use-Cases unkritisch.

Die praktische Herausforderung liegt meist in der Wahl des passenden Betriebsmodells. Wir bauen seit 2023 KI-Agenten produktiv für deutsche Mittelständler ein und schreiben hier auf, welche Setup-Patterns funktionieren, wo die häufigsten Fehler passieren, und wie eine saubere Architektur aussieht.

Die drei Säulen einer DSGVO-konformen KI-Architektur

Säule 1: Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO

Sobald die KI personenbezogene Daten verarbeitet (was bei jedem Helpdesk-, CRM-, oder E-Mail-Use-Case automatisch der Fall ist), greift Art. 28 DSGVO: ein schriftlicher Auftragsverarbeitungsvertrag zwischen Mandant und KI-Anbieter ist Pflicht.

Was muss im AVV stehen:

  • Was verarbeitet wird: z.B. „Texte aus Helpdesk-Tickets für Klassifikation“
  • Wo verarbeitet wird: physische Daten-Region (idealerweise EU)
  • Wie lange: typisch 30 Tage Logging, dann automatisch gelöscht
  • Wer haftet: bei Datenschutzverstößen primär der Mandant, sekundär der Anbieter
  • Welche TOMs: Technische und Organisatorische Maßnahmen (Verschlüsselung, Zugriffsrechte, Backup-Routinen)
  • Sub-Verarbeiter: falls der KI-Anbieter selbst Cloud-Services nutzt (typisch der Fall: OpenAI nutzt Microsoft Azure, Anthropic nutzt AWS)

Alle seriösen KI-Anbieter haben AVV-Vorlagen ab Werk. Wenn ein Anbieter sich weigert oder „nehmen Sie unseren Standard-AGB“ sagt – das ist ein Warnsignal.

Säule 2: Europäische Datenhaltung

Hintergrund: Schrems-II (EuGH 2020) hat das EU-US-Privacy-Shield gekippt. Datentransfer in die USA ist seither nur noch mit zusätzlichen Sicherheits-Mechanismen erlaubt (Standard Contractual Clauses + Transfer Impact Assessment). Das ist machbar, aber komplex und mit Restrisiko verbunden.

Pragmatische Lösung: EU-Datenresidenz vertraglich zusichern. Das heißt: alle Verarbeitungs- und Speicher-Vorgänge finden physisch in der EU statt. Damit umgehen Sie diese Drittlandproblematik.

Konkret:

  • Zoho hat EU-Datacenter in Amsterdam – Standard-Setup für deutsche Kunden
  • OpenAI Enterprise bietet EU-Datenresidenz (Frankfurt-Region) ab Werk
  • Anthropic verarbeitet Anfragen über AWS-EU-Regionen, wenn entsprechend konfiguriert
  • Mistral ist eine französische Firma mit EU-Hosting-Standard
  • Aleph Alpha sitzt in Deutschland und bietet On-Premise- / EU-Cloud-Optionen
  • Odoo kann self-hosted in eigener EU-Cloud betrieben werden – KI-Module wie OCA-AI lassen sich gegen lokale LLMs koppeln

Wenn der KI-Anbieter Ihnen keine EU-Region zusichern kann – andere Wahl treffen.

Säule 3: Dokumentierte Rechtsgrundlage

Auf Mandanten-Seite (also bei Ihnen, dem Mittelständler) braucht jede personenbezogene Datenverarbeitung eine Rechtsgrundlage nach Art. 6 DSGVO:

  • Vertragserfüllung (Art. 6 Abs. 1 lit. b) – KI-gestützte Bestellungs-Bearbeitung, Auftragsabwicklung
  • Berechtigtes Interesse (Art. 6 Abs. 1 lit. f) – KI-Vorqualifizierung im Helpdesk, KI-Belegerfassung in der Buchhaltung
  • Einwilligung (Art. 6 Abs. 1 lit. a) – Marketing-Personalisierung, Profiling, Newsletter-Personalisierung

Berechtigtes Interesse ist die häufigste Grundlage im Mittelstands-Kontext. Sie braucht eine Interessenabwägung: Ihr Interesse (Effizienz) vs. das Interesse des Betroffenen (Datenschutz). Bei reiner Vorqualifizierung im Helpdesk überwiegt typisch Ihr Interesse – solange die KI keine Entscheidungen für den Menschen trifft, sondern nur Vorschläge macht.

Diese Abwägung sollten Sie im Verarbeitungsverzeichnis dokumentieren. Wenn Sie das nie geführt haben – dann beim KI-Setup gleich mit anlegen, nicht erst auf die nächste Datenschutz-Prüfung warten.

Drei Architekturmuster für die Integration

Muster A: Plattformintegrierte KI (Zoho Zia, Odoo-Module)

Die KI-Funktionen sind Teil der ERP-/CRM-Plattform. Vorteile: AVV ist bereits Teil der Plattform-Verträge, EU-Datenresidenz wird über die Plattform selbst sichergestellt, kein zusätzlicher Anbieter im Setup.

Wann das passt:

  • Standard-Use-Cases (Helpdesk-Vorqualifizierung, Lead-Scoring, E-Mail-Generierung)
  • Kunden mit Zoho One oder Odoo als Backbone
  • Wenn Sie KI-Funktionen schnell live haben wollen

Beispiel: Reifen24 nutzt KI-Vorqualifizierung im Helpdesk – die KI klassifiziert eingehende Tickets nach vier Kategorien (Lieferstatus, Reklamation, Beratung, Rechnung). Die Klassifikation läuft auf einem Modell mit EU-Datenresidenz, personenbezogene Daten werden vorher pseudonymisiert. Mehr dazu im Reifen24-Case.

Vertiefender Beitrag: Leitfaden zu DSGVO-konformer KI mit Zoho One

Muster B: Anbindung eigener oder dedizierter Sprachmodelle

Die KI läuft auf eigener Infrastruktur (oder verifiziert EU-Cloud), die ERP-Plattform schickt Anfragen direkt an die LLM-API. Vorteile: maximale Kontrolle, Daten verlassen die eigene Infrastruktur nie.

Wann das passt:

  • Hochsensible Daten (Personal, Finanzen)
  • Compliance-Vorgaben über DSGVO hinaus (z.B. ISO 27001, BAFIN, Branchen-spezifisch)
  • Sehr individuelle Use-Cases mit Custom-Workflows

Aufwand: typisch das 3-4-fache eines Plattform-integrierten Setups. Wir empfehlen das nur, wenn Pattern A wirklich nicht passt.

Vertiefender Beitrag: Leitfaden zu DSGVO-konformer KI mit Odoo

Muster C: Externe Sprachmodelle über europäische Cloud-Endpunkte

Sie nutzen ein State-of-the-Art-LLM (z.B. Claude, GPT, Mistral Large), aber die Verarbeitungs-Region ist verbindlich auf EU gesetzt. Vorteile: beste KI-Qualität, gleichzeitig Schrems-II-konform.

Wann das passt:

  • Sie brauchen die volle Capability moderner LLMs (komplexes Reasoning, lange Kontexte, multimodale Inputs)
  • Standard-Use-Cases, die aber Qualität brauchen – z.B. Vertragsanalyse, Markt-Recherche, technische Dokumentation
  • Sie haben nicht die IT-Tiefe für ein eigenes Self-Hosting-Setup

Vertiefender Beitrag: Anbietervergleich zur EU-Datenresidenz für KI

Typische Versäumnisse aus der Praxis

1. „Wir nutzen ChatGPT, aber nur kostenlos“: die ChatGPT-Free-Tier hat keinen Enterprise-AVV, kein EU-Datenresidenz-Commitment, und Anfragen werden standardmäßig zum Training verwendet. Im Mittelstand bei jedem Use-Case mit personenbezogenen Daten unzulässig. Wenn die KI im Setup wirklich gebraucht wird: ChatGPT Enterprise oder API mit Opt-out – aber niemals Free-Tier für Geschäftsdaten.

2. „Der Anbieter wirbt pauschal mit DSGVO-Konformität“: DSGVO-Konformität ist kein Anbieter-Zertifikat, sondern eine Architektur-Frage. Auch der beste Anbieter wird nicht-konform, wenn der Mandant z.B. ohne Rechtsgrundlage Daten verarbeitet. Die Verantwortung bleibt beim Mandanten – der Anbieter haftet nur für seine TOMs.

3. „Wir haben einen AVV, also passt’s“: der AVV ist Voraussetzung, aber nicht hinreichend. Sie brauchen zusätzlich: dokumentierte Rechtsgrundlage, Datenminimierung, Pseudonymisierung wo möglich, Mitarbeiter-Schulung, Notfall-Plan bei Datenpannen.

4. „Pseudonymisierung machen wir später“: das ist der Punkt, an dem 80 % der Setups scheitern. Pseudonymisierung muss vor dem Produktivstart eingerichtet sein, nicht nachträglich nachgeschoben werden. Wir bauen sie immer als ersten Schritt der Daten-Pipeline ein.

5. „Wir brauchen kein Verarbeitungsverzeichnis“: ja, brauchen Sie. Art. 30 DSGVO. Bei Unternehmen mit mehr als 250 Mitarbeitern verpflichtend, bei kleineren Unternehmen empfohlen – und der Datenschutzbeauftragte erwartet es bei jeder Prüfung.

Drei Grundsätze aus unseren Projekten

Erstens: Architektur vor Tools. Welche KI-Plattform Sie nutzen, ist die zweitwichtigste Entscheidung. Die wichtigste ist: wie Sie sie einbauen – mit oder ohne Pseudonymisierung, mit oder ohne dokumentierter Rechtsgrundlage, mit oder ohne klarem Use-Case-Scope.

Zweitens: EU-Datenresidenz ist nicht verhandelbar. Die paar Prozent Performance-Unterschied zwischen US- und EU-Region sind irrelevant gegen das Schrems-II-Risiko. Wir lehnen Setups, die nicht EU-Residenz garantieren können, ab.

Drittens: Ein menschlicher Bestätigungs-Schritt im Workflow. Wir bauen KI-Agenten typisch so, dass sie Vorschläge machen, aber nicht selbständig entscheiden. Das schützt vor zwei Risiken: erstens technische Fehler (LLMs halluzinieren), zweitens DSGVO Art. 22 (automatisierte Entscheidungen sind grundsätzlich verboten ohne explizite Einwilligung).

Nächster Schritt

Wenn Sie KI-Agenten DSGVO-konform einführen wollen – schreiben Sie uns. 30 Minuten Erstgespräch, wir gehen Ihren Use-Case, Ihre Daten-Klassifikation und die rechtliche Lage mit Ihrem Datenschutzbeauftragten durch. Am Ende des Gesprächs haben Sie eine klare Einschätzung: ob der Anwendungsfall unkritisch ist (Standard-Setup), kritisch (mit Pseudonymisierungs-Schicht), oder hochkritisch (eigene Cloud).

Einen Überblick über konkrete Umsetzungen bietet unsere Leistungsseite Automatisierung & KI; unsere Projekthaltung beschreiben wir unter Über Mate iT. Konkreter Mate-iT-Case mit DSGVO-konformer KI: Branchenbeispiel Reifenhandel (Reifen24).

Häufige Fragen

Was bedeutet DSGVO-konform bei KI-Agenten konkret?

Drei Bedingungen müssen erfüllt sein: Erstens existiert ein gültiger Auftragsverarbeitungsvertrag (AVV) mit dem KI-Anbieter, der die Pflichten gemäß Art. 28 DSGVO regelt. Zweitens ist die Daten-Verarbeitungs-Region klar definiert – bei sensiblen personenbezogenen Daten muss EU-Datenresidenz vertraglich zugesichert sein. Drittens hat der Mandant (Mittelständler) eine dokumentierte Rechtsgrundlage für die Verarbeitung – typisch berechtigtes Interesse oder Vertragserfüllung. Wenn alle drei Punkte sauber dokumentiert sind, ist der KI-Einsatz DSGVO-konform.

Welche KI-Anbieter sind DSGVO-konform für deutsche Mittelständler?

Aktuell gibt es drei Hauptpfade: (1) US-Anbieter (OpenAI, Anthropic, Google) mit EU-Datenresidenz-Setups – funktionsfähig für Standard-Use-Cases, aber mit Restrisiko durch Schrems-II-Implikationen. (2) Europäische Anbieter (Mistral, Aleph Alpha, Black Forest Labs) – DSGVO-nativ, etwas weniger Capability als die US-Marktführer aber für Mittelstands-Use-Cases ausreichend. (3) Plattform-integrierte KI (Zoho Zia in EU-DC, Odoo OCA AI-Module) – geringerer Setup-Aufwand, weil AVV bereits Teil der ERP-Plattform-Verträge. Wir empfehlen typisch (2) oder (3), je nach Use-Case.

Brauche ich für KI-Agenten einen Auftragsverarbeitungsvertrag (AVV)?

Ja, immer wenn die KI personenbezogene Daten verarbeitet – das ist bei jedem Helpdesk-, CRM-, oder E-Mail-Use-Case automatisch der Fall. Der AVV regelt: was darf der Anbieter mit den Daten tun (nichts außer der Verarbeitung), wo werden sie gespeichert, wie lange, wer haftet bei Verletzungen, welche TOMs (Technische und Organisatorische Maßnahmen) sind dokumentiert. Ohne AVV ist die KI-Nutzung formal unzulässig. Alle seriösen KI-Anbieter (OpenAI Enterprise, Anthropic, Mistral, Zoho, Odoo) bieten AVV ab Werk.

Was ist EU-Datenresidenz und warum ist sie für KI wichtig?

EU-Datenresidenz heißt: alle Verarbeitungs- und Speicher-Vorgänge finden physisch in der EU statt – kein Routing über US-Server, kein Backup in Drittländern. Bei KI ist das relevant, weil viele LLMs auf US-Infrastruktur trainiert wurden und Anfragen standardmäßig dorthin gehen. Schrems-II hat das EU-US-Privacy-Shield gekippt – Datentransfer in die USA braucht heute zusätzliche Sicherheits-Mechanismen (SCCs + TIA). Mit EU-Datenresidenz vermeiden Sie diese Drittlandproblematik. Wir empfehlen für Mittelständler: Vertragspartner muss EU-Datenbank-Region (z.B. Frankfurt, Amsterdam, Dublin) zusichern.

Können personenbezogene Daten in KI-Prompts geteilt werden?

Ja, wenn der AVV das abdeckt und die Datenresidenz EU ist. Wichtig: nur Daten teilen, die für den Verarbeitungszweck nötig sind (Datenminimierungs-Prinzip). Beispiel Helpdesk-Vorqualifizierung: Tickets werden geteilt, weil das der Zweck ist – aber Geburtsdaten oder Kontonummern müssen nicht übermittelt werden. Wir bauen typisch eine Pseudonymisierungs-Schicht ein, die irrelevante Datenfelder vor der KI-Übergabe entfernt. Das reduziert das Risiko bei Datenpannen drastisch.

Was passiert mit den Daten nach der KI-Verarbeitung?

Bei seriösen Anbietern: Die Daten werden nicht zum Modelltraining verwendet (das muss vertraglich zugesichert sein, bei OpenAI explizit über Enterprise-Tier oder API-Opt-out, bei Anthropic standardmäßig, bei Mistral standardmäßig). Verarbeitete Daten werden nach einer definierten Frist gelöscht (typisch 30 Tage Logging zur Fehleranalyse, danach automatisch). Das muss im AVV stehen. Kann ein Anbieter den Trainingsausschluss vertraglich nicht zusichern, kommt er für geschäftliche Personendaten nicht in Betracht.

Was kostet eine DSGVO-konforme KI-Agenten-Einführung?

Die KI-Lizenzen selbst sind oft günstig (typisch 10-30 € pro Nutzer/Monat bei Plattform-integrierten Lösungen, 50-200 € bei Custom-LLM-Setups). Der eigentliche Kostentreiber ist die Setup-Architektur: AVV-Prüfung mit Datenschutzbeauftragten, Pseudonymisierungs-Schicht bauen, Use-Case-Validierung, Mitarbeiter-Schulung. Bei einem mittelständischen Helpdesk-Setup wie bei Reifen24 rechnen wir mit 8-15.000 € Implementierung plus laufende KI-Kosten. Über drei Jahre verteilt: typisch 30-40 % Lizenzen, 60-70 % Implementation + Compliance.

Welche KI-Use-Cases im Mittelstand sind besonders DSGVO-sensibel?

Drei Cluster sind besonders heikel: (1) Personalbereich – Bewerbungs-Vorqualifizierung, Mitarbeiter-Performance-Analysen, Stimmungs-Tracking. Hier reicht oft die DSGVO nicht, KI-Verordnung (EU AI Act) klassifiziert das als High-Risk. (2) Kundendaten mit Sensitiv-Anteil – Gesundheits-Daten, Finanz-Daten, Religions-/Weltanschauungs-Bezug. Hier braucht es zusätzliche Rechtsgrundlagen nach Art. 9 DSGVO. (3) Beobachtungs-Use-Cases – Email-Monitoring, Verhaltens-Analyse, Predictive-Customer-Segmentation. Diese Use-Cases empfehlen wir typisch nicht, oder nur mit expliziter Einwilligung. Standard-Use-Cases wie Helpdesk-Vorqualifizierung, Belegerfassung, Übersetzung sind unkritisch wenn AVV + EU-Datenresidenz stimmen.

Ein echter Vorgang genügt.

Sie möchten die Kriterien aus diesem Beitrag auf Ihre bestehende System- und Prozesslandschaft übertragen? Bringen Sie Ihren konkreten Anwendungsfall ins Erstgespräch mit.

Matthias GrdanGeschäftsführung · Prozess- & ERP-Architektur
Architektur- & IntegrationsteamFeste Projektleitung · Villingen-Schwenningen

Das Erstgespräch ist kostenlos. Ihre Anfrage wird direkt über unseren Google-Workspace-Mailservice an sales@mateit.de übermittelt – in der Offline-Vorschau öffnet sich automatisch ein vorbereiteter E-Mail-Entwurf oder Sie kopieren den Text per Klick.

Übermittlung über unseren Google-Workspace-Mailservice an sales@mateit.de (Art. 6 Abs. 1 lit. b / f DSGVO) oder lokal als E-Mail-Entwurf. Datenschutzhinweise

Erstgespräch anfragen