Podcast in German only.
Künstliche Intelligenz bauen, die vom menschlichen Gehirn inspiriert ist. Klingt wie Science Fiction, ist aber die Forschung, die Robert Legenstein an der TU Graz betreibt. 2022 habe ich zuletzt mit ihm im Podcast über seine Arbeit gesprochen. Nur wenige Monate später ist mit ChatGPT das erste große Large Language Model für den öffentlichen Gebrauch freigeschaltet worden.Und seither hat sich in diesem Feld unglaublich viel getan. Mein Name ist Birgit Baustädter und ihr hört Talk Science to Me, den Wissenschaftspodcast der TU Graz.
Talk Science to Me: Lieber Robert, vielen Dank, dass du heute wieder mit mir hier bist und über künstliche Intelligenz sprichst. Wieder, weil wir haben 2022 schon einmal über dieses Thema gesprochen. Das war damals die allererste Folge, die wir für den Podcast aufgenommen haben. Und jetzt würde ich gern mit dir besprechen, was sich seitdem getan hat, sowohl in deiner Forschung, aber auch ganz grundsätzlich in der Forschung, wenn es um künstliche Intelligenz geht. Vielleicht steigen wir so ein. Was gibt's bei dir Neues? Was ist aktuell in der Forschung los?
Robert Legenstein: Ja, danke, sehr gerne. Wir haben uns, glaube ich, im Juni 22 getroffen. Genau. Und es war eigentlich ein wichtiges Jahr, weil im November ist dann ChatGPT online gegangen und das hat dann einiges geändert. Das war ein ziemlicher Paukenschlag, möchte ich sagen, und seither ist die KI viel tiefer in die Gesellschaft eingedrungen. Sie ist jetzt viel verfügbarer, viele Menschen nutzen das. Auch in der Forschung hat sich viel geändert dadurch, würde ich sagen, und auch in der Wirtschaft. Also auch in der Wirtschaft ist es ein ganz, ganz wichtiger Punkt geworden. ChatGPT ist ja ein Large Language Model und dementsprechend hat sich die Forschung sehr stark dann auch in diese Richtung fokussiert, würde ich sagen. Und es gab dann auch weitere Entwicklungen: Dann gab es eben auch Large Reasoning Models, die dann darauf spezialisiert wurden, dass sie Denkprozesse, komplexere Denkprozesse durchführen. Und was heute auch ein wichtiges Thema ist, ist Agentic AI, also KI-Agenten, die dann nicht nur jetzt auf Fragen antworten, sondern auch aktiv Aktionen setzen können. Also zum Beispiel etwas planen, den Urlaub planen oder so weiter. Und dann vielleicht sogar schon auch die Tickets buchen und so weiter. In Österreich hat sich auch einiges getan. Da ist ein KI Exzellence Cluster hochgefahren worden vom FWF. Er nennt sich Bilateral AI und da ist auch die TU Graz ein sehr starker Partner. Da haben wir das letzte Mal glaube ich auch schon ganz kurz darüber gesprochen, über symbolische und sub symbolische KI. Genau darauf spezialisiert sich nämlich dieser Cluster, nämlich auf die Idee, diese zwei Stränge der KI miteinander zu verbinden. Also symbolisch, da arbeitet man mit definierten Symbolen und mit klar definierten Regeln darauf, verwendet logisches Schließen und diese Regeln werden auch von Menschen definiert. Und der Vorteil ist halt, dass man sehr genau weiß, was die Systeme tun und dass man auch zeigen kann, dass sie das korrekt tun. Subsymbolische KI auf der anderen Seite oder auch maschinelles Lernen, da hat man ja eher große statistische Modelle, die dann auf Daten trainiert werden, auch neuronale Netzwerke zum Beispiel. Und da hat sich gezeigt, dass die extrem gut funktionieren. Das ist auch die Basis von diesen Large Language Modellen. Aber die haben eben auch diese Nachteile, dass man nicht genau weiß, was sie machen und dass sie auch Fehler machen. Und man hofft halt, wenn man das kombiniert, so wie wir das in dem Projekt machen wollen, dass man dadurch verlässlichere KI bekommt, leistungsfähigere KI und auch erklärbare KI vielleicht.
Das Projekt ist jetzt seit ungefähr einem Jahr läuft das. Was hat sich seitdem getan in dem, was ihr erreichen möchtet?
Legenstein: Ja, also das Projekt läuft ja für fünf Jahre. Also vorerst ist es einmal so geplant. Und da sind sehr viele Partner dabei. Also es sind eben sechs Forschungsstätten. Wir haben glaube ich so über 70 Key Researcher, also Hauptforschende und dann nochmal so viele PhD-Studierende und so weiter. Und ja am Anfang muss man sich erst mal zusammenfinden. Weil das Interessante oder das Lustige ist, obwohl wir alle an KI arbeiten, die zwei Ansätze sind so unterschiedlich und auch so getrennt voneinander entwickelt worden, dass man die oft gar nicht versteht. Also die Experten für symbolische KI verstehen nicht genau, was die subsymbolische KI macht oder was die Leute dort machen und umgekehrt. Und da muss man sich mal zusammenfinden, weil es ist ganz wichtig, dass man einfach mal in Workshops aufarbeitet sozusagen und gemeinsame Ansätze findet. Und ich glaube, da haben wir schon sehr viel gemacht. Das heißt, wir haben schon viele Ideen für gemeinsame Ansätze und die Kooperation ist ja natürlich extrem wichtig, dass man das dann auch zusammen bearbeitet.
Du bist in der sub-symbolischen KI bisher.
Legenstein: Kann man glaube ich so sagen, ja.
Als wir das erste Mal darüber gesprochen haben, ist es bei dir vor allem um Brain Inspired Artificial Intelligence gegangen. Künstliche Intelligenz, die vom menschlichen Gehirn inspiriert ist. Ist es nach wie vor so? Beschäftigst du dich nach wie vor damit?
Legenstein: Ja, absolut. Das ist noch immer mein Kernthema. Wird es auch noch länger bleiben, würde ich mal sagen. Kann ich kurz sagen, woran wir arbeiten in dem Bereich. Es gibt natürlich mehrere Sachen, an denen wir arbeiten. Aber zum Beispiel in Bilateral AI, da ist es ja so symbolisch, subsymbolisch.Vom Gehirn wissen wir, wir denken auch symbolisch eigentlich. Das heißt, wir haben ein logisches Schließen. Wir haben Symbole in unseren Gedanken sozusagen. Aber unser Gehirn ist ja subsymbolisch aufgebaut. Das heißt, es ist ein neuronales Netzwerk, ein sehr großes. Und die Frage, die sich da stellt, wie entsteht eigentlich dieses Symbole aus dem neuronalen Netzwerk, aus diesem subsymbolischen Netzwerk heraus? Ich gebe ein Beispiel dafür: Sagen wir, Sie sehen einen großen roten Ball. Wie kann ich das am besten symbolisch beschreiben? Ich habe bestimmte Eigenschaften, die ich hier zusammenfüge, also groß, rot, rund und so weiter. Ja das beschreibt diesen Ball irgendwie, den ich sehe. Was ich aber sehe mit meinen Augen auf der Retina, das sind im Prinzip nur Farbpunkte, also Pixel kann man sagen, ja, Millionen Pixel. Und aus denen muss ich extrahieren, ja muss ich diese symbolische Bedeutung extrahieren. Wie kann man das machen, wie funktioniert das im Gehirn und wie kann ich dann diese Repräsentation haben, die dann eine symbolische Repräsentation ist, mit der ich dann auch symbolisch arbeiten kann, wo ich dann logisches Schließen machen kann und so weiter? Das ist zum Beispiel eine Frage, die uns jetzt interessiert.
Das Hirn ist also nach wie vor ein sehr, sehr zentrales Vorbild für künstliche Intelligenz.
Legestein: Absolut, ja. Ich meine, wenn wir uns das anschauen, die Large Language Models zum Beispiel, die wir haben, sind neuronale Netzwerke. das sind Neuronen, die haben Verbindungen untereinander. Die sind wie Synapsen. Beim Lernen oder Trainieren von den Systemen, werden die Synapsen-Gewichte verändert. Sas ist im Prinzip so, wie das im Gehirn funktioniert. Die haben auch eine Art von Kurzzeitgedächtnis, so wie wir, und insofern ja ist das schon gehirninspiriert. Aber auf der anderen Seite gibt es dann noch riesige Unterschiede in der Architektur. Also das Gehirn hat sehr viele architektonische Eigenschaften, die wir jetzt nicht in unseren derzeitigen Modellen haben. Und da denke ich, können wir noch sehr, sehr viel darüber lernen, wie wir das verbessern können aus dem Gehirn.
Ihr nehmt das Hirn jetzt als Vorbild und als Inspiration für die Modelle, die ihr baut. Häufig geht es aber auch darum, dass man künstliche Intelligenz den Menschen ähnlich macht, also der menschlichen Intelligenz. Wie weit sind wir da jetzt schon? Beziehungsweise ist das auch etwas, was ihr tut? Soll es eine Ähnlichkeit erzeugen oder ist das eine Inspirationsquelle alleine?
Legenstein: Bei unserer Forschung selbst ist es jetzt nicht so das vorrangige Ziel, dass die Intelligenz, die daraus entsteht, menschenähnlich wird. Intelligenz ist ja an sich schon über den Menschen definiert, kann man so sagen. Es ist eine Definition. Es ist sozusagen die Summe der kognitiven Fähigkeiten des Menschen. Insofern ist eine künstliche Intelligenz auch immer in einem gewissen Sinne menschlich, weil sie diese Eigenschaften sozusagen nachbildet. Wie weit man ist, ist eine sehr gute Frage. 2025, also letztes Jahr, hat es eine Studie gegeben, wo man Menschen mit KIs kommunizieren hat lassen, aber auch mit Menschen. Die haben das aber nicht gewusst. Und dann hat man sie gefragt, haben sie jetzt mit einer KI kommuniziert oder mit einem Menschen? Oder was war menschlich sozusagen? Und interessanterweise ist die KI häufiger als menschlich bezeichnet worden als die Interaktion mit Menschen. Und das ist sehr spannend, auch deswegen, weil das der sogenannte Turing-Test ist.Alan Turing, der Gründungsvater der Informatik an sich, hat diesen Test vorgeschlagen zum Testen einer KI. Ja, und das haben jetzt auch Forscher aufgegriffen. Und in Fachmagazin Nature wurde dann also behauptet, wir haben eine KI, die eine, jetzt schon eine KI, die eine Artificial General Intelligence ist, eine sogenannte AGI, also eine generelle Intelligenz. Und das ist aber natürlich etwas, das sehr stark diskutiert wird. Ja, da sind natürlich nicht alle damit einverstanden, aber die Diskussion ist da und allein, dass das behauptet wird und, dass diese Diskussion geführt wird, zeigt schon, wie weit man da eigentlich schon ist.
Wie schätzt du das Thema ein? Also mit der generalisierten Intelligenz?
Legenstein: Das ist schwer zu sagen. Ich meine, ich sehe das jetzt eigentlich nicht so dogmatisch, beziehungsweise für mich ist das vielleicht gar nicht so wichtig. Ich denke, dass KI utilitaristisch gesehen ein Tool sein soll, das uns hilft. Und ob das jetzt menschenähnlich ist oder nicht, ist für mich jetzt nicht so wichtig. Wichtig ist, dass man etwas hat, das nützlich ist. Und da sieht man eben, dass es sehr, sehr viele Fortschritte gegeben hat. Wenn man danach fragt, wie gut ist die KI jetzt, dann historisch gesehen sieht man, dass das eigentlich immer wieder erweitert wird und, dass auch die Ansprüche immer größer werden eigentlich. Also früher hat man gedacht vielleicht das Spielen von komplexen Spielen ist ein großer wichtiger Test, schwierig für KI, also Schach zum Beispiel und dann hat sich gezeigt, das ist gar nicht so schwierig, das hat man relativ einfach lösen können. Dann hat man gedacht, Kreativität ist etwas menschliches und ist für die KI schwierig. Dann kamen generative Modelle, die können Bilder erzeugen, Videos, Musik, Text natürlich auch und es hat sich gezeigt, es ist eigentlich gar nicht so schwierig. Bei Sprache hat es natürlich jetzt riesige Fortschritte gegeben. Man sieht aber auch, dass man das jetzt näher an den Menschen bringen will, aber man muss es nicht unbedingt, man muss halt damit umgehen können sozusagen und das ist glaube ich das Wichtigere.
Hast du ein Beispiel, wo ein KI bestimmte Denkaufgabe gibt?
Legenstein: Da gibt es die Denkaufgabe mit dem Wolf und den Schafen, die man über den Fluss bringen will oder so. Und das schafft die KI. Und wenn man jetzt aber irgendwie ein Wort ändert, man nimmt etwas, was ungewöhnlich ist, was sozusagen in den Beispielen wohl nicht drinnen war, die die KI zum Trainieren gesehen hat, dann macht es plötzlich irgendwie etwas komisches und gibt eine ganz andere, unlogische Antwort darauf. So auf die Art. Etwas, was der Mensch wahrscheinlich nie machen will.
Du hast vorher davon gesprochen, wie gut eine KI ist, wie gut sie auch funktioniert. Bei euch war auch ein großes Thema die Energieeffizienz. Weil das menschliche Gehirn, wenn wir jetzt wieder darauf zurückkommen, ja unglaublich leistungsfähig und dabei sehr energieeffizient ist. Also wo stehen wir da?
Legenstein: Ich behaupte, Energieeffizienz ist eine der Schlüsselfragen heute eigentlich. Wenn man sich ansieht, wie KI heute funktioniert bzw. wie sie implementiert ist, dann kann man sich die großen Datenzentren anschauen, denn die Systeme laufen in diesen großen Datenzentren und der Leistungsbedarf von den Datenzentren heute ist so um die 100 Megawatt. Das entspricht etwa dem Leistungsbedarf einer mittleren Stadt. Aber man spricht heute schon von Gigawattzentren. Das ist nicht gelöst und es nicht klar, wo man die Energie herbekommen soll. Das heißt, es ist wirklich eine Schlüsselfrage. Also ich bin überzeugt, dass wir KI bauen können, die 10 bis 100 Mal effizienter ist als die derzeitige Energieeffizienteste. Denn die heutigen Systeme arbeiten mit sehr präzisen Berechnungen. Informatisch gesehen 32 Bit, sehr präzise Zahlen, die benötigt werden. Und das gibt es im Gehirn nicht. Das Gehirn ist unpräzise, das ist, glaube ich, relativ klar. Die Synapsen arbeiten unpräzise, sie machen Fehler. Und das dürfte auch ein Schlüssel sein. Also wenn man es schafft, mit unpräziser Hardware zu arbeiten, vor allem zu lernen, das ist eigentlich das Hauptproblem, das Lernen mit unpräziser Hardware ist nicht gelöst, oder das Trainieren eben, dann kann man den Leistungsbedarf deutlich senken. Und wir sprechen da von 10 bis 100 mal weniger Energiebedarf. Und das würde natürlich sehr viel ändern. Also auf der einen Seite, wenn man sich die Hyperskalierer ansieht, also die großen Datenzentren, muss man sich vorstellen, 10 bis 100 Mal weniger Energie benötigt, beziehungsweise 10 bis 100 Mal mehr Compute. Also je nachdem, was man will. Das ist die eine Seite. Die andere Seite ist die Seite on the edge. Also Compute jetzt nicht in den Datenzentren, sondern direkt an der Anwendung oder bei den Menschen. Und die muss natürlich auch energieeffizient sein. Und da kann man sich vorstellen, dass man dann intelligente Chips hat, die man eigentlich mehr oder weniger überall einbauen kann, zum Beispiel in der Waschmaschine oder im Fahrrad oder wo auch immer. Und dann kannst du auch mit der Waschmaschine sprechen zum Beispiel und ihr sagen, wie du denn jetzt wirklich deine Wäsche gewaschen haben willst, ohne irgendwelche Knöpfe zu drücken und ihr auch Tipps geben vielleicht. Oder sie gibt dir Tipps.
Du hast vorher erwähnt, Lernen auf unpräziser Hardware ist ein großes Problem. Warum?
Legenstein: Genau. Also es gibt keine Algorithmen, die das gut können. Wenn man mit den heutigen Methoden lernt, im Fachgebeit nennt man das Gradientenabstieg, dann muss man diese Gewichte zwischen den Neuronen, die Synapsengewichte, muss man die genau, also präzise verändern. Da macht man immer kleine Änderungen und das muss relativ präzise sein, sonst funktioniert das einfach nicht. Weil, wenn man dann große Datenmengen hat und man macht das nicht präzise, dann verwischt sozusagen das, was man dem beibringen will. Im Gehirn funktioniert es irgendwie. Was ich daraus lerne, ist, dass das Gehirn Lernen anders implementiert. Also nicht so, wie wir das machen in unserer KI, dass im Gehirn Lernen anders funktioniert.Und das ist ein super spannendes Thema. Was ist da anders? Wie funktioniert das?
Lernen ist ja ein großes Thema in einer KI. Wir haben damals auch über das Lernen gesprochen in unserem ersten Interview. Und damals war es eben so, dass eine KI quasi jedes Mal von Null gestartet hat.Und ein menschliches Gehirn kommt mit einem gewissen Set an vorprogrammierten, unter Anführungszeichen, Fähigkeiten auf die Welt. Wie ist das momentan? Also ist da die KI weitergekommen? Ist es noch immer so, dass es quasi jedes Mal von Null losgehen muss?
Legenstein: Ja, das kommt ein bisschen darauf an. Im Prinzip schon. Also der Hauptansatz ist so, dass man von Null weglernt. Es gibt aber auch interessante Effekte. Also wenn wir uns wieder Large Language Models ansehen, die werden ja vortrainiert auf großen Textmengen, sagen wir das ganze Text vom Internet, ein großer Textkorpus und nachdem das passiert ist, hat dieses Modell sehr viel Wissen über die Welt in sich aufgenommen. Und dieses Wissen kann es dann auch verwenden, um aus wenigen Beispielen zu lernen. Ich kann dann Beispiele geben, also wenige Beispiele zum Beispiel auch. Das ist die Aufgabe, das ist die Lösung. Da gebe ich vielleicht drei, vier Beispiele und dann kann ich eine Aufgabe stellen, die ähnlich ist und dann kann das Modell auch diese Aufgabe lösen. Das nennt man In-Context-Learning, dass das eigentlich eine emergente Fähigkeit von diesen Modellen ist. Eben dadurch, dass sie schon so viel Struktur aufgenommen hat von unserer Welt.
Das heißt, diese Systeme haben sich einfach schon selbst das allgemeine Wissen angeeignet und jetzt können wir ihm neue Fähigkeiten auf Basis dessen trainieren.
Legenstein: Sehr richtig, ja, genau. Selbst angeeignet würde ich jetzt nicht sagen. Es wurde also trainiert darauf, aber richtig. Und das nennt man auch Foundation Models. Das heißt, wir beginnen mit großem Training auf großen Daten. Das bietet ein Foundation, eine Grundlage, auf der man dann aufbauen kann. Das kann man dann verwenden an andere Aufgaben direkt anwenden oder spezialisieren, indem man es dann auf etwas Spezielles weiter trainiert. Ja, genau.
Das hat ja auch immer mit der Definition von Intelligenz zu tun natürlich. Was ist eigentlich Intelligenz? Wie kann man das beschreiben? Wie kann man es auch festmachen? Also wie weiß ich überhaupt, ob KI intelligent ist? Du hast damals erklärt, dass es vor allem um Lernfähigkeit geht, dass es um Anpassungsfähigkeit geht. Dass man eben das Wissen, diese Foundation, von der du jetzt auch gesprochen hast, dann später auf andere Dinge anwenden kann und nicht nur genau auf die Beispiele, die man bekommt. Versteht das jetzt richtig, dass man da schon in diese Richtung gehen hat können?
Legenstein: Ja, sicher. Also wovon du auch gesprochen hast, dieses flexible Anwenden nennt man auch Generalisierung im Fachgebiet. Und Generalisierung ist eigentlich prinzipiell mit Intelligenz oderzumindest im maschinellen Lernenbereich ein ganz wichtiges Prinzip, ein grundlegendes Prinzip eigentlich. Das ist das, was man will, letztendlich. Und ja, ich meine, Generalisierung konnten KI-Systeme eigentlich mehr oder weniger, solange es sie gibt, weil es immer schon sozusagen das wichtigste Ziel war. Aber man hat ja deutliche Fortschritte erzielt. Bei den heutigen KI-Systemen ist es eigentlich doch noch eine gewisse umstrittene Frage, inwieweit die generalisieren können. Also man sieht schon natürlich, dass sie generalisieren, auch die Beispiele, die ich vorher gebracht habe. Aber dann ist ein bisschen auch die Frage, inwieweit war das schon in den Trainingsdaten drinnen? Man weiß ja gar nicht, was da alles drinnen war, weil es so groß ist. Kann kein Mensch mehr überblicken. Also waren eigentlich Probleme schon drinnen? Man versucht dann natürlich neue Probleme zu generieren, die komplett neu sind und dann sieht man auch, das können sie auch teilweise. Aber wie ich schon gesagt habe, manchmal reicht es schon, ein Wort zu ändern und schon macht es irgendwie etwas Inkorrektes. Die Frage ist umstritten, aber ich würde schon sagen, also die Generalisierung, die wir jetzt heute haben, die ist schon beachtenswert.
Wie weit kann es noch gehen, deiner Meinung nach? Wie weit kann die KI da noch kommen?
Legenstein: Ja, das ist etwas, was niemand beantworten kann, glaube ich. Die Geschichte hat uns gezeigt, dass die Richtung, in der die KI geht und diese technische Entwicklung geht, an sich sehr unvorhersehbar ist. Ja, also man ist immer wieder überrascht, was es Neues gibt und was Neues kommt. Es gibt Challenges. Wir haben das letzte Mal, glaube ich, auch schon über Challenges gesprochen. Challenges waren damals, ja, Generalisierungsfähigkeit eben. Erklärbarkeit auch. Erklärbarkeit und diese Sachen sind noch immer Challenges, glaube ich. Daran wird noch immer sehr stark gearbeitet. Energieeffizienz ist eine Challenge, die gelöst werden muss, glaube ich. Derzeit fokussiert sich eben ein großer Teil der Forschung auf diese Large Language Models bzw muss das nur hochskalieren, immer größere Modelle bauen, die werden immer mehr können und da sind viele Forscher skeptisch und ich glaube, dass es auch Entwicklungen in andere Richtungen geben wird. Es wird neuartige Modelle geben, neuartige Paradigmen sozusagen, Lernparadigmen. Mittelfristig kann man sich da, glaube ich, sehr viel erwarten. Und diese neuen Modelle werden neue Stärken und neue Schwächen haben.
Wir haben damals auch über Kreativität geredet. Und du hast gesagt, deine Ideen kommen dir am allermeisten im Schlaf. Ist das heute noch so?
Legenstein: Ja, wenn ich Zeit zum Schlafen habe, schon. Was ich meinte, glaube ich, eigentlich gar nicht so der Schlaf, sondern so die Zeit zwischen Schlaf und Wachwerden. Also wenn man so im Halbschlaf ist. Ich glaube, das ist ein sehr, sehr guter Zustand des Gehirns wo man kreativ ist. Also sehr von Fantasie getrieben ist. Aber gleichzeitig das auch so ein bisschen logisch nachfragen kann und da kann man glaube ich auch einiges für KI drüber lernen. Aber was ich auch damals gesagt habe, war, das schlafen allein reicht natürlich nicht. Man muss vorher Informationen aufnehmen, die man dann verarbeiten kann. Man muss den Kopf füttern und man muss auch selbst darüber nachdenken. Genau, also mein Tipp wäre, das Denken nicht ganz der KI überlassen.
Aber das heißt auch, dass ihr jetzt einfach der KI lernen müsst, auch immer gut zu schlafen und dann einen halb wach, halb Schlafzustand einzunehmen.
Legenstein: Ja, ja. Ich glaube, die KI ist derzeit eher in einem Schlafzustand, weil sie generiert Sachen, sozusagen aus Assoziationen heraus, die sie gelernt hat in den Trainingsdaten.Und dann das Überprüfen von dem danach würde glaube ich sehr viele Fehler vermeiden. Ich meine, da arbeiten auch Leute dran und das wird teilweise auch schon gemacht, klarerweise. Aber ich glaube, dass das schon irgendwie ein wichtiges Prinzip ist,ja, dass man kreativ ist und gleichzeitig diese Kreativität einschränkt dann auch, genau.
Vielen Dank für das Interview.
Legenstein: Sehr gern!
Vielen Dank, dass ihr heute wieder zugehört habt. In der nächsten Folge mache ich ein Update mit Roman Kern, der vor allem im Bereich Data Science beschäftigt ist.
