Fairness in KI: Studie zeigt zentrale Rolle menschlicher Entscheidungen

KI-gestützte Empfehlungssysteme sollen Nutzer*innen möglichst gute Vorschläge für ihre Anfragen liefern. Oft müssen diese Systeme verschiedenen Zielgruppen bedienen und zudem weitere Stakeholder berücksichtigen, die die maschinelle Antwort ebenfalls beeinflussen: z.B. Dienstleister*innen, Gemeinden oder Tourismusverbände. Wie lässt sich hier also eine faire und transparente Empfehlung erreichen? Das haben Forschende von TU Graz, Universität Graz und Know Center anhand einer Radtour-App des Grazer Startups Cyclebee untersucht. Dabei haben sie erforscht, wie die Verschiedenheit menschlicher Bedürfnisse von KI berücksichtigt werden kann. Gefördert hat die mit einem „Mind the Gap“-Forschungspreis für Gender und Diversität der TU Graz ausgezeichnete Untersuchung der Zukunftsfonds Steiermark.

Auswirkungen auf zahlreiche Gruppen

„Auf Kaufentscheidungen oder die Entwicklung von Gäste- und Besucherzahlen können KI-gestützte Recommender-Systeme großen Einfluss haben“, sagt Bernhard Wieser vom Institute of Human-Centred Computing der TU Graz. „Sie liefern Informationen zu Dienstleistungen oder sehenswerten Orten und sollen im besten Fall individuelle Bedürfnisse berücksichtigen. Es besteht aber das Risiko, dass bestimmte Gruppen oder Aspekte unterrepräsentiert sind.“ In diesem Zusammenhang war eine wichtige Erkenntnis der Untersuchungen, dass die angepeilte Fairness im Ergebnis ein Multi-Stakeholder-Problem ist, da eben nicht nur Endbenutzer*innen eine Rolle spielen, sondern zahlreiche weitere Akteur*innen.

Zu diesen zählen Dienstleister*innen wie Hotels und Restaurants entlang der Routen und Drittparteien wie Gemeinden und Tourismusverbände. Und dann gibt es noch Beteiligte, die mit der App gar nicht in Berührung kommen, aber dennoch betroffen sind, etwa Anrainer*innen, die Overtourism-Effekte zu spüren bekommen könnten. All diese Stakeholder unter einen Hut zu bekommen, lässt sich laut der Untersuchung nicht allein mit Technologie lösen. „Wenn die App für alle möglichst faire Ergebnisse liefern soll, müssen vorab die Fairness-Ziele klar definiert werden. Und das ist ein sehr menschlicher Vorgang, der bereits damit beginnt, welche Zielgruppe denn bedient werden soll“, sagt Bernhard Wieser.

Alle Akteur*innen ins Design einbinden

Diese Zielgruppenentscheidung beeinflusst die Auswahl der KI-Trainingsdaten, deren Gewichtung und weitere Schritte beim Algorithmus-Design. Um auch die übrigen Stakeholder mitzunehmen, schlagen die Forschenden die Anwendung von partizipativem Design vor, bei dem alle Akteur*innen eingebunden sind, um ihre Vorstellungen möglichst gut zu vereinen. „Letztendlich muss man sich aber für etwas entscheiden, also ist der Mensch gefragt“, sagt Dominik Kowald, der in der Fair AI-Gruppe des Forschungszentrums Know Center sowie am Institut für Digitale Geisteswissenschaften der Universität Graz tätig ist. „Mit einem KI-Modell lässt sich nicht alles gleichzeitig optimieren. Es gibt immer einen Trade-Off.“

Wie dieser Trade-Off aussieht, müssen letztendlich die Entwickler*innen entscheiden, laut den Forschenden ist für Endnutzer*innen und Provider aber wichtig, dass hierbei Transparenz herrscht. So möchten die User*innen die Möglichkeit haben, die Empfehlungen anzupassen oder zu beeinflussen, und die Provider möchten wissen, nach welchen Regeln Routen festgelegt oder Anbieter*innen gereiht worden sind. „Unsere Studienergebnisse sollen Software-Entwickler*innen in Form von Designrichtlinien bei ihrer Arbeit unterstützen und auch politischen Entscheidungsträger*innen möchten wir Leitlinien zur Verfügung stellen“, sagt Bernhard Wieser. „Denn wichtig ist es, dass wir durch die technologische Entwicklung Recommender-Systeme zunehmend auch für kleinere, regionale Akteure verfügbar machen. Dies würde es ermöglichen, faire Lösungen zu entwickeln und so Gegenmodelle zu multinationalen Konzernen zu schaffen, was die regionale Wertschöpfung nachhaltig stärkt.“

Studie: Multistakeholder Fairness in Tourism: What can Algorithms learn from Tourism Management?
Autor*innen: Peter Müllner, Anna Schreuer, Simone Kopeinik, Bernhard Wieser und Dominik Kowald (2025).
In: Frontiers in Big Data
DOI: https://doi.org/10.3389/fdata.2025.1632766