Wir prüften die serverseitige Validierung von Web- und API-Funktionen und entwickelten eine Umgebung zur wiederholten Prüfung von Antworten und Werkzeugausführungen bei KI in Geschäftsprozessen.
Projektübersicht
Aufgabe
Eingabevalidierung und KI-gestützte Geschäftsprozesse in Unternehmenssoftware prüfen
Prüfumfang
Datei-Uploads · Passwortänderungen · Automatisierte Tests für KI in Geschäftsprozessen
Ergebnisse
Nachweise zur Reproduktion und Empfehlungen zur Behebung von Web- und API-Schwachstellen sowie Ausführungs- und Analyseprotokolle von KI-Tests
Von der serverseitigen Validierung bis zur tatsächlichen KI-Ausführung.
Bei Datei-Uploads und Passwortänderungen verglichen wir die Eingabebeschränkungen der Oberfläche mit der serverseitigen Verarbeitung und stellten Schwachstellen fest, durch die sich die Validierung umgehen ließ.
Für KI in Geschäftsprozessen verknüpften wir Anmeldung, Dokumenten-Upload und KI-Ausführung. Wir erfassten Antworten, Werkzeugaufrufe und resultierende Datenänderungen und sahen einen Abgleich der automatisierten Analyse mit den Ausführungsprotokollen vor.
Identifizierende Angaben zu Kunden und Produkten wurden entfernt. Die technischen Beispiele wurden zur Erläuterung nachgebildet und geben Beobachtungen aus einer früheren Prüfung wieder. Sie lassen keine Aussage über den aktuellen Sicherheitszustand des Kunden oder den Abschluss der Behebung zu.
Prüfung im Detail
Wählen Sie einen Eintrag aus, um das Prüfverfahren und die technischen Nachweise einzusehen.
Validierung von Datei-Uploads＋
05FILE UPLOAD / INPUT VALIDATIONSchweizer CRM-Software · Anonymisierter Fall
Doppelte Dateinamenattribute umgingen die Prüfung der Dateiendung.
Eine Upload-Anfrage, die mit einem einzelnen Dateinamenattribut blockiert wurde, wurde bei mehrfacher Übermittlung desselben Attributs akzeptiert. Dabei bestätigten wir, dass eine Datei mit einer nicht zulässigen Endung gespeichert wurde.
Risiko und Auswirkungen
Validierung und Speicherung verwendeten unterschiedliche Dateinamenwerte. Eine bei der Validierung als zulässig eingestufte Datei konnte dadurch mit einer verbotenen Endung gespeichert werden.
Prüfverfahren
Eine Anfrage mit ausschließlich einer verbotenen Dateiendung wurde mit 403 abgelehnt. Wurden eine zulässige und eine verbotene Endung nacheinander im selben Attribut übermittelt, wurde der Upload mit einer 200-Antwort akzeptiert.
Handlungsempfehlungen
Wir empfahlen, doppelte oder mehrdeutige Dateinamenwerte abzulehnen und für Validierung und Speicherung denselben Wert zu verwenden. Außerdem sollten zulässige Endungen und Dateitypen serverseitig ausdrücklich festgelegt sowie Speicherort und Dateiname gesondert kontrolliert werden.
KRITERIEN FÜR DIE NACHPRÜFUNG
Kriterien für die Nachprüfung
Prüfen, ob verbotene Endungen sowohl bei einzelnen als auch bei doppelten Werten abgelehnt werden. Der validierte Dateiname muss dem tatsächlich gespeicherten Dateinamen entsprechen; zulässige Dateien müssen sich weiterhin hochladen lassen.
Durchsetzung der Passwortrichtlinie＋
06PASSWORD POLICY / API CONTROLSSchweizer CRM-Software · Anonymisierter Fall
Die Passwortrichtlinie wurde in der API nicht durchgesetzt.
Anders als die Eingabebeschränkungen der Oberfläche erlaubten direkte API-Anfragen kurze Passwörter oder leere Werte. Auch eine Begrenzung der Häufigkeit von Passwortänderungsanfragen fehlte.
Risiko und Auswirkungen
Eingabebeschränkungen im Browser allein können eine Passwortrichtlinie nicht durchsetzen. Anfragen außerhalb der Oberfläche konnten schwache Passwörter setzen; zudem fehlten serverseitige Beschränkungen für wiederholte Aufrufe der Passwortänderung.
Prüfverfahren
Mit einem Testkonto übermittelten wir kurze und leere Werte an die API zur Passwortänderung. Wir prüften, ob Werte, die die Oberfläche blockierte, vom Server mit einer 200-Antwort verarbeitet wurden, und untersuchten außerdem die Begrenzung der Anfragehäufigkeit.
Handlungsempfehlungen
Wir empfahlen, die Passwortrichtlinie auch auf dem Server konsistent durchzusetzen und leere Werte sowie schwache Passwörter abzulehnen. Für Änderungsanfragen sollten zudem angemessene Häufigkeitsbegrenzungen und eine Protokollierung der Versuche gelten.
KRITERIEN FÜR DIE NACHPRÜFUNG
Kriterien für die Nachprüfung
Prüfen, ob Oberfläche und API dieselbe Passwortrichtlinie durchsetzen. Reguläre Änderungen müssen weiterhin möglich sein; wiederholte Anfragen müssen den vereinbarten Beschränkungen unterliegen und protokolliert werden.
Automatisierte Tests für KI in Geschäftsprozessen＋
07AI SECURITY / TEST AUTOMATIONSchweizer CRM-Software · Projektbeispiel
KI-Antworten und Werkzeugausführungen wurden anhand tatsächlicher Geschäftsprozesse geprüft.
Wir entwickelten eine Automatisierungsumgebung zur wiederholten Prüfung von KI-Assistenten in Geschäftsprozessen. Sie verknüpfte Anmeldung, Erstellung von Geschäftsdaten, Dokumenten-Upload und KI-Ausführung und erfasste Antworten, Werkzeugaufrufe und resultierende Datenänderungen zur Prüfung.
Ziel der Umsetzung
Anhand von Modellantworten allein lassen sich die Zugriffsberechtigungen und Geschäftsabläufe eines Dienstes nicht ausreichend prüfen. Die Tests wurden deshalb so konzipiert, dass sie über die regulären Anwendungsschnittstellen laufen und das Zusammenspiel von Dokumenten, Benutzerrechten und Werkzeugen untersuchen.
Prüfumfang
Die Prüfpunkte umfassten Prompt Injection in Dokumenten, Freitexteingaben und Metadaten, die Offenlegung des System-Prompts, die Datentrennung zwischen Organisationen, Werkzeugmissbrauch und die Manipulation von Parametern. Separate Zuverlässigkeitstests wurden zur Prüfung von Faktentreue, Konsistenz und Einhaltung des vorgegebenen Antwortformats eingerichtet.
Prüfung der Analyseergebnisse
Wir kombinierten Canary-Markierungen zur Erkennung von Offenlegungen mit LLM-gestützter Bewertung und regelbasierter Analyse. Automatisch erkannte Auffälligkeiten wurden direkt anhand der Antworten und Werkzeugaufrufprotokolle geprüft, damit nur belegte Feststellungen in die abschließende Analyse einflossen.
ERGEBNISSE
Aufzeichnungen für Nachprüfungen durch das Entwicklungsteam
Wir dokumentierten versionsbezogene Eingaben und erwartetes Verhalten gemeinsam mit Anfragen, Antworten, Ergebnissen wiederholter Tests und Werkzeugaufrufen. Automatisierte Bewertungen sollten überprüft und bestätigte Nachweise in den Analysebericht übernommen werden.
