Der blinde Fleck in Europas KI-Debatte
Wir diskutieren in Europa viel darüber, wie Unternehmen KI rechtmäßig und konform zur KI-Verordnung einsetzen dürfen. Doch der Fokus dieser Verordnung liegt auf Risikoklassen aus Perspektive von Betroffenen, auf verbotenen Praktiken und auf dem Grundrechtsschutz.
Wir diskutieren in Europa viel darüber, wie Unternehmen KI rechtmäßig und konform zur KI-Verordnung einsetzen dürfen.
Doch der Fokus dieser Verordnung liegt auf Risikoklassen aus Perspektive von Betroffenen, auf verbotenen Praktiken und auf dem Grundrechtsschutz.
Das ist wichtig und richtig.
Aber Risiken entstehen nicht nur durch Non-Compliance mit den Vorgaben der KI-Verordnung. Sie entstehen vor allem auch dadurch, dass andere KI sehr gezielt, sehr professionell und sehr wirksam einsetzen.
Auf der Angreiferseite.
Und genau diese Angreifer werden sich nicht an die Vorgaben der KI-Verordnung halten. Und noch viel wichtiger: Diese Angreifer können ihr Wissen auch in den neuen Agent Skills bündeln, über die ich seit einigen Tagen schreibe. Diese KI-Skills erlauben es, jegliche Form von Fachkompetenz – also auch die von professionellen Angreifern – zu bündeln und KI-Agenten zu übergeben, die Angriffe in einer nie dagewesenen Geschwindigkeit, Präzision und Frequenz ausführen können.
Auch deshalb hat Anthropic vor wenigen Tagen die internationale Finanzmarktaufsicht über die Risiken seines neuen Modells Claude Mythos informiert, das beim Auffinden und Ausnutzen von technischen Schwachstellen ein Niveau erreicht, das nur noch besonders spezialisierte menschliche Fachleute übertreffen.
Das ist mehr als eine Tech-Meldung – es ist eine Warnung für Unternehmen aller Branchen und aller Regionen weltweit.
Und genau hier liegt aus meiner Sicht ein riesiger blinder Fleck vieler europäischer KI-Debatten: Während sich andere mit den „echten“ KI-Risiken auseinandersetzen, diskutieren wir die neuesten Verschiebungen der Deadlines der KI-VO, die diese existenziellen Risiken gar nicht adressiert.
Gerade in den Finanzunternehmen sind viele IKT-Risikomanager noch damit beschäftigt, „regulatorische Compliance“ herzustellen, indem sie Soll-Ist-Abgleiche gegen veraltete Soll-Maßnahmenkataloge durchführen und Fragestellungen diskutieren, die mit der tatsächlichen Bedrohungslage oft nichts mehr zu tun haben.
Doch wenn leistungsfähige KI-Systeme Schwachstellen schneller finden als Menschen und die Fähigkeiten reproduzierbar machen, die sonst nur einigen wenigen Fachexperten (und besonders professionellen Angreifern) vorbehalten bleiben, sind wir mitten im IKT-Risikomanagement — mitten in der Operationalisierung von DORA, mitten in NIS2 und mitten in der Frage, ob unsere digitale operationelle Resilienz tatsächlich noch zur Bedrohungslage passt.
Aus meiner Sicht brauchen wir dringend eine praktische Auseinandersetzung mit den echten KI-Risiken und nicht nur mit den Compliance-Risiken, die sich aus der Nicht-Konformität mit den Vorgaben der KI-VO ergeben.
Wie seht ihr das?