1Ai7 — Methodik zur Evaluierung von KI-Einsatzfragestellungen

Feld 1 — K · Klarheit (Clarity)

Ziel & Erfolgskriterien. Leitfrage: Was soll erreicht werden, und woran erkennen wir, dass es funktioniert?

1.1 Zweckprüfung des Prozesses (vor der Zieldefinition)

Bevor ein Ziel definiert wird, wird der zugrundeliegende Prozess selbst hinterfragt: Was ist der eigentliche Zweck dieses Prozesses — und braucht es ihn in dieser Form überhaupt noch? Einen schlechten Prozess mit KI zu beschleunigen macht ihn nur schneller schlecht („paving the cowpath"). KI ermöglicht oft Prozess-Elimination oder -Neugestaltung statt bloßer Optimierung. Die Entscheidung „bestehenden Ablauf automatisieren vs. Ziel des Prozesses neu denken" wird hier explizit getroffen und dokumentiert.

1.2 Ziel & Erfolgskriterien

Abbruchkriterium: Lässt sich kein messbares Erfolgskriterium definieren, ist das Vorhaben als Experiment zu deklarieren — nicht als Produktivlösung. Die hier definierten Erfolgskriterien sind zugleich die Grundlage jedes späteren Audits.

Feld 2 — O · Objekt: die Daten (Object)

Art, Menge, Qualität und Sensibilität der Daten, die der Use Case verarbeitet.

2.1 Art der Daten

• Sprache/Text: Interviews (Transkripte), Dokumente, E-Mails, Freitextfelder
• Audio/Video: Interviews im Rohformat, Besprechungsaufzeichnungen (Vorstufe: Transkription)
• Bilder/Scans: Formulare, Fotos, technische Zeichnungen (Vorstufe: OCR / Vision-Modell)
• Zahlen/strukturierte Daten: Produktionsdaten, Verkaufsdaten, Sensordaten
• Code
• Mischformen: PDFs mit Text, Tabellen und Grafiken

Konsequenz: Unstrukturierte Sprache → Sprachmodell sinnvoll. Reine Zahlendaten → klassische Statistik/ML meist überlegen (siehe Feld 4). Audio/Bild → zusätzliche Vorverarbeitungsstufe einplanen.

2.2 Quantität & Frequenz

2.3 Qualität der Daten

• Sauber strukturiert: XML, JSON, Excel mit konsistenten Werten → direkt verarbeitbar
• Interpretationsbedürftig: uneinheitliche Einheiten (150 ml vs. 0,5 Liter), Freitext, Tippfehler, gemischte Formate → Harmonisierungsschritt nötig; hier kann KI selbst Teil der Lösung sein
• Lückenhaft / widersprüchlich: fehlende Werte, Duplikate → Regeln für Umgang definieren (verwerfen, anreichern, kennzeichnen)

2.4 Sensibilität

Feld 3 — M · Maßgaben: Recht & Berechtigungen (Mandates)

3.1 Rechtlicher Rahmen

• DSGVO: Rechtsgrundlage der Verarbeitung, Datenminimierung, Betroffenenrechte, ggf. Datenschutz-Folgenabschätzung (DSFA). Bei API-Anbietern: Auftragsverarbeitungsvertrag (AVV), Ort der Verarbeitung (EU/Drittland), Trainingsausschluss vertraglich zusichern lassen
• EU AI Act: Risikoklassifizierung des Anwendungsfalls (verboten / Hochrisiko / begrenztes Risiko / minimal). Hochrisiko-Anwendungen (z. B. Personalentscheidungen, kritische Infrastruktur) lösen umfangreiche Dokumentations- und Aufsichtspflichten aus, darunter Logging und Post-Market-Monitoring (siehe Feld 7). Zusätzlich: AI-Literacy-Pflicht für Anwender (Art. 4, siehe Feld 6) und Kennzeichnungspflichten bei KI-Interaktion mit Kunden (siehe Feld 6)
• Urheberrecht / Verträge: Dürfen die Quelldaten überhaupt an Dritte übermittelt werden (NDAs, Lizenzbedingungen)?
• Branchenspezifisches: z. B. Berufsgeheimnisse, Finanz-/Gesundheitsregulierung
• Arbeitsrecht / Mitbestimmung: Berührt das System Leistungs- oder Verhaltenskontrolle von Mitarbeitern, greifen Mitbestimmungsrechte des Betriebsrats (Betriebsvereinbarung) — Details und Einbindung in Feld 6

3.2 Berechtigungen & Risikostufen

Klar abgrenzbare Rechte definieren — die Risikostufe steigt mit dem Eingriffsgrad:

Nur-Lesen  <  Schreiben  <  autonome Aktionen (agentisch)

• Nur-Lesen: geringstes Risiko; Zugriff auf das Minimum beschränken (Need-to-know)
• Schreiben: Versionierung/Rollback sicherstellen, Schreibziele eingrenzen
• Aktionen setzen: Guardrails, Freigabeschritte (Human-in-the-loop), vollständige Auditierbarkeit; je autonomer, desto strenger die Anforderungen

Feld 4 — P · Passung: Lösungsansatz, Modellwahl, Deployment (Pathway)

4.1 Grundsatzentscheidung: Wo sitzt die KI?

1. KI als Analysewerkzeug: Das Modell verarbeitet die Daten direkt (Tagging, Zusammenfassung, Extraktion, Interpretation). Geeignet für unstrukturierte Sprache und semantische Aufgaben
2. KI-erstellte Software zur Analyse: Die KI schreibt das Analyse-Skript, die Berechnung läuft klassisch-deterministisch. Geeignet für Zahlendaten — reproduzierbar, prüfbar, skaliert ohne Token-Kosten
3. Gar keine KI in der Analyse: Klassische Statistik / BI / regelbasierte Verarbeitung. Bei strukturierten Zahlendaten (Produktions-, Verkaufsdaten) oft die robusteste und günstigste Option — diese Möglichkeit explizit prüfen, bevor ein LLM gesetzt wird

4.2 Modelltyp

4.3 Deployment-Modell

Das Deployment ist keine freie Wahl, sondern folgt aus Sensibilität (Feld 2) und Rechtslage (Feld 3):

Feld 5 — A · Aufwand: Wirtschaftlichkeit & Lock-in (Affordability)

• Kostenvergleich: API-Token-Kosten (skalieren mit Volumen) vs. Hardware + Strom + Personal beim Self-Hosting (Fixkosten)
• Entwicklungsaufwand: Make-or-buy — existiert ein fertiges Produkt für den Anwendungsfall?
• Vendor-Lock-in: Austauschbarkeit des Modells/Anbieters in der Architektur vorsehen (Abstraktionsschicht, standardisierte Schnittstellen)
• Faustregel: Einmalprojekt mit moderatem Volumen → API. Dauerbetrieb mit hohem Volumen oder hoher Sensibilität → Self-Hosting durchrechnen
• Folgekosten einrechnen: Schulung und Change-Begleitung (Feld 6) sowie Betrieb, Monitoring und Reviews (Feld 7) gehören in die Gesamtrechnung — nicht nur die Technik

Feld 6 — S · Stakeholder: Menschen & Akzeptanz (Stakeholders)

Leitfrage: Wollen die Betroffenen das — und verändert es für sie das Richtige?

6.1 Mitarbeiter & Organisation

• Akzeptanz & Ängste: Sorge vor Jobverlust, Kontrollverlust oder Dequalifizierung offen adressieren; Narrativ „Entlastung statt Ersetzung" nur verwenden, wenn es stimmt
• Skills & AI Literacy: Schulungsbedarf erheben; der EU AI Act verlangt ausreichende KI-Kompetenz der Anwender (Art. 4) — Qualifizierung ist Pflicht, nicht Kür
• Mitbestimmung: Betriebsrat frühzeitig einbinden; viele KI-Systeme berühren Leistungs-/Verhaltenskontrolle und sind damit betriebsvereinbarungspflichtig. Frühe Einbindung statt Konfrontation
• Change-Kommunikation: Wer ist betroffen, was ändert sich konkret in der täglichen Arbeit, wer beantwortet Fragen? Rollenveränderungen explizit benennen
• Praxiswissen einholen: Operative Mitarbeiter liefern Edge Cases und Realitätscheck — ohne sie ist jedes Scoring Theorie

6.2 Kunden & Customer Experience

• Wirkung auf das Kundenerlebnis: Verbessert die KI das Erlebnis messbar — oder beschleunigt sie nur die Abfertigung?
• Transparenz & Kennzeichnung: Kunden müssen erkennen können, dass sie mit einer KI interagieren (AI-Act-Kennzeichnungspflicht)
• Eskalation zum Menschen: Ein garantierter, leicht erreichbarer Weg zu einem menschlichen Ansprechpartner ist Pflichtbestandteil jedes kundengerichteten KI-Einsatzes
• Vertrauen & Grenzen: Personalisierung vs. Übergriffigkeit abwägen; Kundenfeedback systematisch erheben (fließt in den Feedback-Loop, Feld 7)

Feld 7 — S · Stabilität: Betrieb, Prozess, Review (Stability)

Relevant ab „wiederkehrend" (Feld 2) — bei Einmalprojekten verkürzt prüfbar.

7.1 Verlässlichkeit im Dauerbetrieb

• Reproduzierbarkeit: LLMs sind nicht deterministisch — gleicher Input ≠ gleicher Output. Maßnahmen: Temperature 0, strukturierte Outputs (JSON-Schema), Versionierung von Prompts und Modellversion, deterministische Schritte wo möglich (siehe Feld 4, Variante 2)
• Nachvollziehbarkeit / Erklärbarkeit: Kann das Ergebnis begründet werden? Zwischenergebnisse und Quellenbezüge protokollieren; bei Hochrisiko-Anwendungen (AI Act) Pflicht
• Modell-Updates: Anbieter tauschen Modelle aus, lokale Modelle veralten. Regressionstests mit festem Testdatensatz vor jedem Wechsel
• Monitoring: Qualitätsdrift, Kosten, Fehlerraten im Dauerbetrieb überwachen
• Verantwortlichkeiten: Wer betreibt, wartet und verantwortet das System fachlich und technisch?

7.2 Referenzprozess

Referenzprozess für die Verarbeitung — einzelne Schritte können je nach Fall entfallen:

1. Auswahl nach Relevanz: Soll ein Datensatz überhaupt einbezogen werden? (Filterregeln, ggf. KI-gestützte Vorklassifikation)
2. Sensibilität entfernen: Anonymisierung / Entfernen von Geschäftsgeheimnissen — zwingend lokal, bevor Daten eine abgeschottete Umgebung verlassen (siehe Feld 2.4)
3. Aufbereitung / Harmonisierung: Umwandlung in strukturierte Daten, Vereinheitlichung von Einheiten und Formaten, Bereinigung (siehe Feld 2.3); bei Audio/Bild: Transkription/OCR als Vorstufe
4. Analyse: Durchführung gemäß gewähltem Lösungsansatz (Feld 4)
5. Interpretation: Einordnung der Ergebnisse, Ableitung von Aussagen
6. Validierung / Qualitätskontrolle: Stichprobenprüfung gegen Erfolgskriterien (Feld 1), Plausibilitätschecks, bei niedriger Fehlertoleranz vollständige menschliche Freigabe
7. Output & Feedback-Loop: Weiterverwendung der Ergebnisse; erkannte Fehler fließen zurück in Prompts, Regeln oder Filterkriterien

7.3 Review-Zyklus (1Ai7-Review)

Die Scorecard ist eine versionierte Momentaufnahme — jedes Feld ist beweglich (Recht ändert sich, Modelle und Preise ändern sich, Akzeptanz entwickelt sich, Datenvolumen wächst). Deshalb:

• Periodisches Re-Scoring: alle sieben Felder werden in festem Rhythmus (z. B. jährlich) erneut bewertet; Profile werden im Radar übereinandergelegt (t0 vs. t1)
• Ereignisgetriggerte Reviews bei: Modell- oder Anbieterwechsel, Rechtsänderung (z. B. AI-Act-Stufe), Skalierungssprung, Sicherheits-/Qualitätsvorfall, gehäuften Beschwerden
• Compliance-Anker: Für Hochrisiko-Systeme ist kontinuierliche Überwachung ohnehin Pflicht (AI Act: Logging, Post-Market-Monitoring); auch eine DSFA ist bei wesentlichen Änderungen zu aktualisieren

Stakeholder-Map: Wer liefert was — und was hat er davon? (Stakeholder map)

Abzugrenzen von Feld 6: Das Feld Stakeholder bewertet die Menschen-Dimension des Use Case (Akzeptanz, Skills, CX) als Score. Die Stakeholder-Map ordnet darüber hinaus alle Beteiligten allen sieben Feldern zu — die 7 Felder sind das Was der Analyse, die Map das Wer. Jeder Stakeholder ist Informationsquelle für bestimmte Felder und Empfänger eines konkreten Ergebnisses:

Feedback auf drei Ebenen (Three feedback loops)

1. Loop (im Use Case): operatives Feedback im laufenden Betrieb — Monitoring, Nutzer- und Kundenfeedback, erkannte Fehler fließen zurück in Prompts, Regeln und Filter (Referenzprozess Schritt 7)
2. Review (am Use Case): periodisches und triggerbasiertes Re-Scoring aller sieben Felder; versionierte Scorecards machen die Entwicklung im Radar sichtbar (Feld 7.3)
3. Lernende Methodik (über Use Cases hinweg): Portfolio-Auswertung — welche Felder reißen am häufigsten, wo lagen Scorings daneben? Daraus werden Leitfragen und Schwellenwerte nachkalibriert und Benchmarks aufgebaut

Anhang: 1Ai7-Scorecard (Scorecard)

Bewertung je Frage bzw. aggregiert je Feld: Score 0–5, Ampel grün ≥ 4 / gelb 3 / rot ≤ 2. Darstellung als Radar-Profil; jede Scorecard trägt Datum und Version.

Lizenz (License)

CC BY 4.0 — Nutzung, Weitergabe und Bearbeitung (auch kommerziell) erlaubt, Verweis auf 1Ai7.com erforderlich.