Skip to main content

Sprachroboter im Test

Neue Partnerstädte und ein Fußballstar: Was ChatGPT über Karlsruhe zusammendichtet

Lassen Schüler ein Referat über Karlsruhe von einer KI schreiben, sollten die den Inhalt lieber doppelt prüfen. Auf Fragen über die Stadt haben Systeme wie das aktuell beliebte „ChatGPT“ teils erstaunliche Antworten.

Ein Screenshot aus dem Gespräch mit ChatGPT
„ChatGPT“ dichtet Karlsruhe deutlich mehr Partnerstädte an, als die Stadt tatsächlich hat. Die richtigen fünf sind aber immerhin dabei. Foto: Screenshot ChatGPT/Pascal Schütt

Wie eng sind Bethlehem, Catania, Kiew und Valencia mit Karlsruhe verbunden? Sehr eng. Das versichert jedenfalls der Sprach-Roboter „ChatGPT“.

Die Künstliche Intelligenz (KI) erklärt sie mit großer Selbstsicherheit zu Partnerstädten Karlsruhes, ohne Hinweis auf irgendwelche Zweifel. Es sind nicht die einzigen Informationen über Karlsruhe, die Nutzer der derzeit beliebten Anwendung lieber nochmal überprüfen sollten.

Die sonst zeitaufwendige Vorbereitung eines Referats etwa über Oberbürgermeister Frank Mentrup (SPD) mit wenigen Klicks an „ChatGPT“ weiterzugeben, könnte für Schüler ganz schön nach hinten losgehen. Das zeigen Stichproben dieser Redaktion. Das mit vielen Milliarden öffentlich im Internet verfügbaren Informationen gefütterte System „weiß“ zwar einiges über den Karlsruher Rathauschef. Es wirft aber viel durcheinander.

Im Lokalen ist die Wahrscheinlichkeit für falsche Infos höher

Mentrup habe 2006 erfolgreich für das Amt des Oberbürgermeisters kandidiert, schreibt die KI. Korrekt ist das nicht. In dem Jahr zog er für den Wahlkreis Mannheim-Nord in den Landtag ein – und unterlag im parteiinternen Rennen um die OB-Kandidatur in Mannheim gegen Peter Kurz. Auf Karlsruhes Chefsessel nahm er 2013 Platz. Mentrup wurde entsprechend auch nicht wie von der KI behauptet 2012 mit über 70 Prozent der Stimmen wiedergewählt.

„Dass eher lokale Informationen falsch sind, ist aufgrund der Architektur des Systems wahrscheinlicher“, erklärt Patrick Baier die gewagten Behauptungen von „ChatGPT“. Was das System im „Training“ seltener sehe, merke es sich nicht so gut. „Das Problem ist: Wenn es etwas nicht weiß, fängt es an, zu lügen“, sagt der Professor, der sich an der Hochschule Karlsruhe (HKA) mit Maschinellem Lernen beschäftigt.

ChatGPT vermischt das Leben eines Schweizer Unternehmers und eines Karlsruher Intendanten

Und diese Lügen treiben teilweise seltsam anmutende Blüten. Nach dem Wirken von Peter Spuhler in Karlsruhe gefragt, antwortet „ChatGPT“, er habe 2012 als Chef der Stadler Rail Group in Karlsruhe ein Werk für Straßenbahnen und Regionalzüge eröffnet und rund 1.000 Arbeitsplätze geschaffen.

Doch damit nicht genug: „Von 1997 bis 2009 war er Mitglied des Gemeinderats von Karlsruhe“, ist zu lesen. Auch einen Sitz im Landtag und eine große Rolle bei der „Verlängerung der Straßenbahnlinie 2 nach Neureut“, dichtet das System ihm an.

Die KI vermischt dabei Informationen, auf die sie im Internet gestoßen ist. Sie verwechselt den ehemaligen Intendanten des Badischen Staatstheaters mit einem gleichnamigen Unternehmer aus der Schweiz. Der ist in der Tat Chef der Stadler Rail AG und politisch aktiv.

Mit Karlsruhe hat er auf beiden Ebenen allerdings nichts zu tun. Das Unternehmen eröffnete unter anderem ein Werk in Berlin, Spuhler saß einige Jahre für die SVP im Nationalrat der Schweiz.

Künstliche Intelligenz basiert auf einem statistischen Modell

Die Fehlersuche führt in die Funktionsweise von „ChatGPT“. Hinter dem Sprach-Roboter steckt ein statistisches Modell. Das System trifft keine bewussten Entscheidungen. „Es schaut nach den wahrscheinlichsten Werten, zur Not ,würfelt’ es“, erklärt Patrick Baier.

Nutzer bekommen davon allerdings nichts mit. „Die KI gibt keine Wahrscheinlichkeit aus, es gibt keine Warnung, dass etwas falsch sein könnte.“ Im Endeffekt könne man sich als Nutzer daher nicht darauf verlassen. „Wer etwas generiert, muss es selbst überprüfen“, empfiehlt Baier.

Das unterstreichen weitere Antworten von „ChatGPT“ auf Fragen dieser Redaktion. Der KSC sei 1993/94 und 1996/97 jeweils Bundesliga-Vizemeister geworden, schreibt die KI beispielsweise. FCK-Legende Fritz Walter aus Kaiserslautern habe „den größten Teil seiner Karriere beim Karlsruher SC“ verbracht. Und dann wären da noch die Partnerstädte.

Welche Partnerstädte ChatGPT Karlsruhe andichtet

Die fünf richtigen (Halle, Krasnodar, Nancy, Nottingham und Temeswar) sind zwar bei jedem Versuch dabei. Der Sprach-Roboter dichtet allerdings wahlweise bis zu acht weitere dazu, darunter Kobe in Japan, Swansea in Großbritannien, Vallejo in Kalifornien oder Chisinau in Moldawien.

HKA-Forscher Baier geht davon aus, dass „ChatGPT“ und ähnliche Systeme in der Zukunft immer zuverlässiger werden, weil ihr Informationsspeicher wächst. „Ein Aspekt bleibt aber: Das Internet ist groß und die Informationen über Karlsruhe sind relativ wenige.“

Auf dem Weg zur Verlässlichkeit werde die KI wohl absehbar darauf verweisen, dass sie etwas nicht sicher weiß, statt Lügen zu verbreiten. „Dass die Systeme bald die Quellen ihrer Informationen transparent machen, ist hingegen überhaupt nicht in Sichtweite.“

nach oben Zurück zum Seitenanfang