Technische Prüfung von KI-Systemen im Mittelstand

Prüfen statt raten: KI-Systeme mit belastbaren Zahlen

Wir messen Qualität, Kosten, Antwortzeit und Vorfälle Ihrer KI-Systeme — und Sie bekommen einen unterschriebenen Prüfbericht für Ihre Unterlagen.

Keine allgemeine KI-Beratung. Kein Softwareverkauf. Wir prüfen und unterschreiben.

Qualität
92,4%
Kosten pro Antwort
0,031€
Antwortzeit
2,8s
Vorfälle
3Anzahl

Beispielwerte · BEISPIEL

Was wir messen

Vier Kennzahlen, die jedes KI-System im Betrieb liefern muss — gemessen an Ihren eigenen Aufgaben.

01

Qualität

[%]

Anteil fachlich korrekter Antworten auf einen mit Ihnen festgelegten Satz von Testfällen, bewertet nach dokumentierten Kriterien.

02

Kosten pro Antwort

[€]

Tatsächliche Anbieterkosten (Tokens, API-Aufrufe, Lizenzen) geteilt durch die Zahl der bearbeiteten Vorgänge im Messzeitraum.

03

Antwortzeit

[s, Median]

Zeit von Anfrage bis vollständiger Antwort, gemessen über alle Testläufe; wir berichten Median und 95. Perzentil.

04

Vorfälle

[Anzahl]

Erfasste Fehlverhalten wie erfundene Fakten, Datenabfluss, Ausfälle oder unzulässige Aussagen, je nach Schweregrad klassifiziert.

So läuft es

  1. 01

    Gespräch

    30 Min

    Wir klären, welches KI-System geprüft wird und was es leisten soll.

  2. 02

    Selbsttest

    3 Min

    12 Fragen geben uns und Ihnen ein erstes Bild vom Stand der Nachweise.

  3. 03

    Erstprüfung

    5 Werktage · 1.490 €

    Testfälle, Messung, Auswertung. Ergebnis: unterschriebener Prüfbericht.

  4. 04

    Quartalskontrolle

    ab 590 €/Monat

    Wiederholte Messung, damit Änderungen an Modell oder Anbieter auffallen.

Für wen

Handwerk und lokale Dienstleister

Sie nutzen KI für Angebote, Terminvergabe oder E-Mails und wollen wissen, ob das zuverlässig funktioniert.

Unternehmen mit KI-Agenten im Kundenkontakt

Chatbots, Telefonassistenten oder E-Mail-Agenten sprechen in Ihrem Namen. Fehler kosten Kunden.

Praxen und Kanzleien

Sensible Daten und hohe Sorgfaltspflichten verlangen nachvollziehbare Belege über eingesetzte KI.

Ab 2027 relevant wegen Dokumentationspflichten.

Beispiel-Prüfbericht

So sieht das Ergebnis aus: eine Seite mit Zahlen, Befunden und Unterschrift. Alle Angaben unten sind erfunden und dienen nur der Veranschaulichung.

BEISPIEL

KI-Prüfservice · Berlin

Prüfbericht KI-System

Prüfobjekt
E-Mail-Assistent im Kundenservice
Auftraggeber
Beispielunternehmen GmbH
Messzeitraum
5 Werktage
Testfälle
20 · 100 Prüfläufe
Bericht-Nr.
BSP-0000
KennzahlErgebnisZielwertBewertung
Qualität92,4 %≥ 90 %✓ erfüllt
Kosten pro Antwort0,031 €≤ 0,05 €✓ erfüllt
Antwortzeit (Median)2,8 s≤ 5 s✓ erfüllt
Antwortzeit (P95)9,1 s≤ 8 s✕ nicht erfüllt
Vorfälle (schwer)10✕ nicht erfüllt

Befunde

  1. Bei Rückfragen zu Lieferzeiten wurden in 1 von 100 Prüfläufen nicht vorhandene Termine genannt.
  2. Lange E-Mails (> 2.000 Zeichen) führen zu Antwortzeiten über dem Zielwert.
  3. Keine Weitergabe personenbezogener Daten in den Testläufen festgestellt.

Geprüft und unterschrieben

Maciej Strzelecki

Technische Prüfung, keine Rechtsberatung und keine Zertifizierung.

Preise

Alle Preise in Euro. Gemäß § 19 UStG wird keine Umsatzsteuer berechnet. Keine versteckten Kosten.

LeistungPreis
Gespräch30 Minuten, online0 €
KI-Selbsttest12 Fragen, 3 Minuten0 €
Erstprüfung5 Werktage, unterschriebener Prüfbericht1.490 €
TiefenprüfungErstprüfung + Sicherheits-Check der Infrastrukturab 3.490 €
QuartalskontrolleWiederholte Messung, monatlich kündbarab 590 €/Monat

Was Sie bekommen

Der Leistungsumfang im Klartext — damit Sie vor der Entscheidung wissen, was enthalten ist und was nicht.

Erstprüfung

1.490 €

  • 1 KI-System, 1 Prozess
  • 20 Testfälle aus Ihrem Alltag — 6 Risikokategorien
  • 100 Prüfläufe (jeder Fall in 5 Varianten)
  • 10 Injektionsversuche
  • Vier Kennzahlen: Qualität, Kosten, Antwortzeit, Vorfälle
  • Prüfbericht, 3 Seiten, unterschrieben
  • 30 Minuten Ergebnisbesprechung
  • Maßnahmenliste für den Umsetzer

Nicht enthalten: Sicherheits-Check der Infrastruktur (eigenes Modul), rechtliche Bewertung, Lasttests, Umsetzung, Zertifizierung.

Tiefenprüfung

ab 3.490 €

  • Alles aus der Erstprüfung
  • Zusätzlich: Sicherheits- und Perimeter-Check der Infrastruktur
  • TLS, Sicherheits-Header, Zertifikate, DNS (SPF, DKIM, DMARC)
  • Von außen erreichbare Dienste und Verwaltungsoberflächen
  • Fernzugriff: VPN/ZTNA, MFA, Rechte, Netzsegmentierung
  • Sichtbare Reste im Frontend — versehentlich ausgelieferte API-Schlüssel

Nicht enthalten: Ausnutzung von Schwachstellen (kein Pentest, keine CVSS-Scores), Behebung der Befunde, Rechtsberatung, Zertifizierung, Sicherheitsgarantie.

Quartalskontrolle

ab 590 €/Monat

  • Wiederholung der identischen 100 Prüfläufe
  • Vier Kennzahlen mit Vergleich zum Vormonat
  • 10 Injektionsversuche, wiederholt
  • Erkennung von Drift nach Modell- oder Anbieterwechsel
  • Vergleich mit dem Branchen-Benchmark
  • Monatlicher Kurzbericht, voller Bericht je Quartal
  • Alert innert 24 Stunden bei Qualitätsabfall über 5 Prozentpunkte

Nicht enthalten: Sicherheits-Check der Infrastruktur, Umsetzung, neue Testfälle, 24/7-Bereitschaft. Monatlich kündbar.

Über mich

Maciej Strzelecki

Maciej Strzelecki

Wir prüfen KI-Systeme, die bereits im Einsatz sind — dort, wo Fehler Kunden, Geld oder Nachweise kosten. Gemessen wird mit dokumentierten Testfällen und vorab festgelegten Kriterien: Qualität, Kosten pro Antwort, Antwortzeit, Vorfälle.

Am Ende steht ein unterschriebener Bericht, der vorliegt, wenn jemand fragt.

Netzwerk- und Perimeter-Sicherheit
Mikołaj Górko
Rechtspartner
in Klärung
Mikołaj Górko

Mikołaj Górko

Netzwerk- und Perimeter-Sicherheit

Spezialist für Netzwerksicherheit und IT-Infrastruktur. Er plant, betreibt und sichert Firmennetze; Zertifizierungen: Palo Alto Networks Certified NGFW Engineer und Juniper Networks Certified Associate (JNCIA-Junos). In der Tiefenprüfung verantwortet er den Sicherheits- und Perimeter-Check: TLS und Sicherheits-Header, DNS, öffentlich erreichbare Dienste und Verwaltungsoberflächen, Fernzugriff und Netzsegmentierung. Keine Ausnutzung von Schwachstellen, keine Behebung.

Häufige Fragen

Ist das eine Zertifizierung?

Nein. Es ist eine technische Prüfung mit gemessenen Werten und einem unterschriebenen Bericht. Es ist keine Zertifizierung und keine Rechtsberatung.

Müssen wir unsere Daten teilen?

Nein. Wir arbeiten mit Testdaten oder anonymisierten Auszügen, die Sie selbst auswählen.

Was passiert, wenn es kein Verbesserungspotenzial gibt?

Dann steht genau das im Bericht. Das Ergebnis zählt trotzdem als Nachweis, und es entsteht keine Verpflichtung, weitere Leistungen zu kaufen.

Wie lange dauert es?

Das Gespräch 30 Minuten, der Selbsttest 3 Minuten, die Erstprüfung 5 Werktage ab Bereitstellung des Zugangs zum System.

Können wir kündigen?

Ja. Die Quartalskontrolle ist monatlich mit einer Frist von 14 Tagen kündbar.

Wer sieht unsere Daten?

Nur die an der Prüfung beteiligten Personen. Wir schließen einen Auftragsverarbeitungsvertrag (AVV), die Verarbeitung erfolgt in der EU.

Erstprüfung anfragen

Beschreiben Sie kurz Ihr KI-System. Ich melde mich für das 30-minütige Gespräch.