Es ist keine Überraschung, dass KI nicht immer alles richtig macht. Gelegentlich kommt es sogar zu Halluzinationen. Eine aktuelle Studie von Apple-Forschern hat jedoch noch schwerwiegendere Mängel in den mathematischen Modellen aufgezeigt, die von KI für formale Überlegungen verwendet werden.

Im Rahmen der Studie forderten Apple-Wissenschaftler ein AI Large Language Model (LLM) stellten mehrmals und auf leicht unterschiedliche Weise eine Frage und waren erstaunt, als sie feststellten, dass das LLM unerwartete Variationen bei den Antworten bot. Diese Abweichungen traten am deutlichsten hervor, wenn es um Zahlen ging.

Apples Studie deutet auf große Probleme mit der Zuverlässigkeit von KI hin

Die von arxiv.org veröffentlichte Studie kam zu dem Schluss, dass es „erhebliche Leistungsschwankungen zwischen den Unternehmen“ gab Verschiedene Instanziierungen derselben Frage stellen eine Herausforderung für die Zuverlässigkeit aktueller GSM8K-Ergebnisse dar, die auf Einzelpunktgenauigkeitsmetriken basieren.“ GSM8K ist ein Datensatz, der über 8000 verschiedene Mathematikfragen und -antworten für Grundschulkinder enthält.

Apple-Forscher haben festgestellt, dass die Abweichung bei dieser Leistung bis zu 10 % betragen könnte. Und selbst geringfügige Abweichungen bei den Eingabeaufforderungen können enorme Probleme mit der Zuverlässigkeit der LLM-Antworten verursachen.

Mit anderen Worten: Sie möchten Ihre Antworten möglicherweise jedes Mal auf Fakten überprüfen, wenn Sie etwas wie ChatGPT verwenden. Denn auch wenn es manchmal so aussieht, als würde KI Logik verwenden, um Ihnen Antworten auf Ihre Anfragen zu geben, wird doch nicht Logik verwendet.

KI verlässt sich stattdessen auf Mustererkennung, um Antworten auf Eingabeaufforderungen zu geben. Die Apple-Studie zeigt jedoch, wie die Änderung selbst einiger unwichtiger Wörter diese Mustererkennung verändern kann.

Ein Beispiel für die dargestellte kritische Varianz entstand durch ein Problem beim Sammeln von Kiwis über mehrere Tage hinweg. Apple-Forscher führten ein Kontrollexperiment durch und fügten dann einige unbedeutende Informationen zur Kiwigröße hinzu.

Sowohl Meta- als auch OpenAI-Modelle zeigten Probleme

Metas Llama und OpenAIs o1, änderten dann ihre Antworten auf das Problem gegenüber der Kontrolle, obwohl die Daten zur Kiwigröße keinen spürbaren Einfluss auf den Ausgang des Problems hatten. Auch der GPT-4o von OpenAI hatte Probleme mit der Leistung, als er winzige Variationen in den an das LLM übergebenen Daten einführte.

Da LLMs in unserer Kultur immer wichtiger werden, weckt diese Nachricht große Bedenken darüber, ob wir der KI vertrauen können um genaue Antworten auf unsere Anfragen zu geben. Besonders bei Themen wie Finanzberatung. Es verstärkt auch die Notwendigkeit, die Informationen, die Sie erhalten, genau zu überprüfen, wenn Sie große Sprachmodelle verwenden.

Das bedeutet, dass Sie kritisch denken und sorgfältig prüfen sollten, anstatt sich blind auf KI zu verlassen. Wenn Sie jedoch jemand sind, der regelmäßig KI nutzt, wussten Sie das wahrscheinlich bereits.