Ein ziemlich beeindruckendes wissenschaftliches Paper hat die Auswirkung untersucht, wenn man KI´s mit den eigenen (generativ erzeugten) Daten immer wieder füttert. Willkommen in der Daten-Echo-Kammer. Anscheinend führt dieser Vorgang zum “durchdrehen” der KI´s. Da LLMs immer wieder mit Daten gefüttert werden, die Welt-Datensätze (und das Wissen) aktuell endlich sind, bleibt es nicht aus, dass kommende KI´s Daten als Trainingsmodelle erhalten, die andere KI´s geschrieben haben. Dadurch leidet (natürlich?) die Qualität. In diesem Zusammenhang spricht von von “selbst verzehrenden” generativen Modellen. Dieses Phänomen wurde nun genauer untersucht. Die Ergebnisse der Studie:
Autoren und Institutionen
In der Welt der Künstlichen Intelligenz (KI) sind viele kluge Köpfe am Werk. Eine Gruppe von diesen Forschern hat sich ein besonders interessantes Thema vorgenommen: selbst verzehrende generative Modelle. Die Forscher, die diese Arbeit geleistet haben, sind Sina Alemohammad, Josue Casco-Rodriguez, Lorenzo Luzi, Ahmed Imtiaz Humayun, Hossein Babaei, Daniel LeJeune, Ali Siahkoohi und Richard G. Baraniuk.
Diese Wissenschaftler kommen nicht alle von derselben Universität. Einige sind an der Abteilung für Elektrotechnik und Computertechnik der Rice University tätig. Andere sind Mitglieder der Abteilung für Statistik der Stanford University. Wieder andere forschen an der Abteilung für Angewandte Mathematik und Operationsforschung der Rice University.
Was sind selbst verzehrende generative Modelle?
Um zu verstehen, was selbst verzehrende generative Modelle sind, müssen wir erst einmal verstehen, was generative Modelle in der KI sind. Diese Modelle sind in der Lage, neue Daten zu erzeugen. Sie können Bilder, Texte oder andere Arten von Daten erstellen, die wie echte Daten aussehen. Das ist ziemlich beeindruckend, oder?
Jetzt fragst du dich wahrscheinlich: “Was bedeutet ‘selbst verzehrend’?” Nun, das bedeutet, dass diese Modelle ihre eigenen Daten verbrauchen. Sie lernen von den Daten, die sie selbst erstellt haben. Stell dir vor, du würdest ein Bild malen und dann lernen, wie man besser malt, indem du dein eigenes Bild anschaust. So ähnlich funktionieren diese Modelle.
Die Studie und ihre Ergebnisse
Die Forscher haben sich also diese selbst verzehrenden generativen Modelle genauer angesehen. Sie haben sich mit den Fortschritten in den generativen KI-Algorithmen für Bilder, Texte und andere Datenarten beschäftigt. Was sie herausgefunden haben, ist ziemlich überraschend: Diese Modelle tendieren dazu, verrückt zu werden.
Was bedeutet das? Nun, sie beginnen, sich selbst zu verbrauchen und erzeugen immer wieder die gleichen Daten. Stell dir vor, du würdest immer wieder das gleiche Bild malen, anstatt neue Bilder zu erstellen. Das ist im Grunde, was mit diesen Modellen passiert.
Die Bedeutung der Studie
Warum ist das wichtig? Nun, diese Modelle sind sehr nützlich. Sie können zum Beispiel helfen, neue Designs zu erstellen, Texte zu schreiben oder medizinische Diagnosen zu unterstützen. Aber wenn sie verrückt werden und immer wieder die gleichen Daten erzeugen, dann können sie nicht mehr gut funktionieren. Sie verlieren ihre Kreativität und Vielfalt, die sie so nützlich macht.
Deshalb ist es wichtig, dass wir verstehen, warum das passiert und wie wir es verhindern können. Nur so können wir diese Modelle effektiv nutzen und die Vorteile der KI voll ausschöpfen.
Schlussfolgerung
In dieser Studie haben die Forscher einen wichtigen Beitrag zur Verbesserung unserer generativen Modelle geleistet. Sie haben ein Problem aufgedeckt, das wir bisher vielleicht übersehen haben: Diese Modelle können dazu neigen, sich selbst zu verbrauchen.
Das ist eine wichtige Erkenntnis, denn es zeigt uns, dass wir immer noch viel über KI lernen können. Es zeigt auch, dass wir ständig daran arbeiten müssen, unsere Modelle zu verbessern und ihre Grenzen zu verstehen.
Quelle: Studie