Würdet ihr in einem autonomen Fahrzeug mitfahren, ohne nachvollziehen zu können, warum es welche Entscheidungen trifft, warum es wann bremst und warum es welche Route wählt? Klingt eher riskant, oder?

Bettina Könighofer und ihre Arbeitsgruppe am Institute of Information Security der TU Graz beschäftigen sich genau damit: Wie autonome Systeme schnell und gleichzeitig vertrauenswürdig designt werden können. Derzeit existieren vor allem zwei Ansätze von künstlicher Intelligenz – die symbolische KI und die subsymbolische KI, die es nun zu vereinen gilt.

Sicherheit oder Sicherheit?

Aber fangen wir ganz am Anfang an: Streng genommen geht es in Bettina Könighofers Arbeit nicht um Sicherheit; sondern um Sicherheit. Klingt verwirrend, aber der deutsche Begriff „Sicherheit“ spaltet sich im Englischen in Safety und Security auf. Safety stellt sicher, dass künstliche Systeme genau das tun, was sie sollen, also vertrauenswürdig, zuverlässig und für User*innen sicher sind. Security schützt künstliche Systeme vor Angreifer*innen, die Schaden anrichten möchten – also zum Beispiel eine klassische Firewall in einem Computer. Bettina Könighofer beschäftigt sich mit dem ersten der beiden Bereiche, also mit dem Design von autonomen KI-Systemen deren Entscheidungen richtig und nachvollziehbar sind.

Neuer Forschungsbereich

Ihr Forschungsbereich ist noch jung und nennt sich „Bilateral AI“. Darin sollen die heute gängigen zwei Stränge von künstlicher Intelligenz vereint werden. „Es gibt symbolische und subsymbolische KI“, erklärt die Forscherin. „Die symbolische KI leitet Entscheidungen von klaren Regeln an, zieht logische Schlussfolgerungen, plant voraus, und liefert mathematische Garantien. Subsymbolische KI-Systeme lernen von Daten, zum Beispiel von beobachteten Bildern. Wir beschäftigen uns vor allem mit Reinforcement Learning. Das ist eine Art von maschinellem Lernen, bei dem das System unterschiedliche Strategien ausprobiert und für richtige Entscheidungen Belohnungen bekommt.“ Schach-KIs oder auch AlphaGo basieren zum Beispiel auf Reinforcement Learning. Das KI-System lernt von jedem Spiel, probiert selbstständig immer wieder neue Strategien aus und wird besser und besser.

Diese Art von KI ist auch Basis für intelligente, autonome Systeme: von Drohnen über autonome Fahrzeuge bis hin zu Robotern. Anhand eines Videos zeigt Bettina Könighofer eine Drohne, die selbstständig lernt, einen komplizierten Parkour zu durchfliegen. „Man sieht wunderbar, dass ihr Weg anfangs sehr chaotisch ist, er sich aber Schritt für Schritt zu einer optimalen Flugbahn entwickelt.“ Alleine bei einem so klar umrissenen und kleinen Parkour muss das Kontrollsystem Milliarden von Zuständen berechnen, in die die Drohne kommen kann. Dieses Beispiel lässt rasch erkennen, dass dieses sichere, auf Berechnungen beruhende System schnell an seine Grenzen stößt, wenn die zu berechnende Welt größer wird.

In Bilateral AI geht es nun darum, symbolische KI und maschinelles Lernen so zu verbinden, dass KI-Systeme selbstständig lernen, wie sie ihre Aufgaben hocheffizient ausführen, aber die User*innen sich gleichzeitig darauf verlassen können, dass das System keinen Schaden verursacht. Zum Beispiel: Ein Roboter lernt, wie er ein Paket ausliefert, nimmt aber Rücksicht auf die arbeitenden Personen im Gebäude.

Zuverlässig und schnell in einer komplexen Welt

In ihrer Doktorarbeit im Jahr 2018, veröffentlichte Bettina Könighofer den ersten Ansatz für beweisbar richtiges maschinelles Lernen. In dieser Arbeit berechnete sie mit symbolischer KI ein sogenanntes „Schild“, das alle Entscheidungen des gelernten KI-Systems überprüft, bevor diese ausgeführt werden. „Der Vorteil ist, dass nicht das gesamte System verifiziert werden muss. Das lernende System gibt einen Vorschlag aus und das berechnende Schild zeigt dann nur, ob dieser Vorschlag sicher ist oder nicht. Im Notfall kann er dann eingreifen. Aktuell arbeiten wir an einer Integration des Schildes mit einer LLM, so dass User*innen sich die Entscheidungen des Schilds einfach erklären lassen können.“

Aktuell gibt es in Österreich eine sehr große Forschungsinitiative zum Thema Bilateral AI, die die führenden Forschungseinrichtungen zusammenbringt und sich BilAI nennt. Großes Ziel ist es, neue, komplexe Probleme zu lösen und diese neue Art von KI auch tief in der Industrie zu verankern.