Die jüngsten Entwicklungen rund um den Zugang zu öffentlichen Daten im Internet werfen gravierende Fragen für die Zukunft generativer KI-Modelle auf. Im Zentrum steht die Nutzung von Web-Crawlern – Bots, die das Internet durchforsten und Informationen sammeln. Die generative KI lebt von solchen Daten, doch viele Webseiten beginnen nun, Barrieren gegen diese Crawler zu errichten. In einem Gespräch mit Shayne Longpre von der Data Provenance Initiative beleuchtet IEEE Spectrum, wie dieser Trend die KI-Industrie nachhaltig verändern könnte.

Das musst Du wissen – KI-Datenzugang: Die neuen Blockaden

• Robot.txt-Protokoll: Viele Websites setzen verstärkt auf das robots.txt-Protokoll, um den Zugriff von Crawlern einzuschränken und ihre Daten zu schützen.
• Rechtsunsicherheit: robots.txt ist nicht rechtlich bindend, doch viele Webseiten nutzen es, um ihre Ablehnung von automatisierten Datensammlern auszudrücken.
• Datenverlust: Etwa 25 % der hochwertigen Inhalte in beliebten Datensätzen sind durch neue Beschränkungen gefährdet.
• Einsatz von synthetischen Daten: Unternehmen nutzen zunehmend synthetische Daten als Ersatz für reale Daten, um ihre Modelle zu trainieren.
• Exklusivverträge: Große Konzerne setzen auf exklusive Zugriffsvereinbarungen mit Plattformen wie YouTube und Reddit, um die Datenversorgung zu sichern.

Die steigende Zahl an Webseiten, die den Zugang für Web-Crawler beschränken, hat erhebliche Folgen für die KI-Industrie. Denn die Qualität und der Umfang der Trainingsdaten, die diesen Modellen zugrunde liegen, sind entscheidend für ihre Leistungsfähigkeit. Shayne Longpre erläutert, dass robots.txt als Tool seit 1995 existiert und ursprünglich zur Steuerung von Web-Suchmaschinen wie Google oder Bing verwendet wurde. Das Protokoll selbst ist jedoch nicht durchsetzbar. Es fungiert eher wie ein „Betreten verboten“-Schild, das auf Kooperation beruht. Während große Firmen wie Anthropic öffentlich betonen, dass sie robots.txt respektieren, gibt es Berichte, dass sie dennoch Websites crawlen, die dies explizit untersagen.

Longpre betont, dass die Datenlandschaft im Internet stark im Wandel begriffen ist. Eine Untersuchung des Teams zeigte, dass zwischen 2023 und 2024 eine erhebliche Anzahl an ehemals öffentlich verfügbaren Websites nun durch robots.txt-Dateien geschützt sind. Dies betrifft insbesondere große, gut gepflegte und qualitativ hochwertige Webseiten wie Nachrichtenportale und akademische Seiten, die nun bis zu 25 Prozent ihrer Daten für Web-Crawler blockieren. Die Konsequenz: Die Qualität der Trainingsdaten verschiebt sich zu weniger gut gepflegten Websites wie persönlichen Blogs oder E-Commerce-Seiten.

Warum sich Webseiten wehren und was das bedeutet

Für viele Webseitenbetreiber, die Inhalte durch Werbung oder Abonnements monetarisieren, stellt die Nutzung ihrer Daten durch KI-Modelle eine Bedrohung dar. Die Möglichkeit, dass KIs wie ChatGPT Antworten basierend auf geklauten Inhalten generieren könnten, veranlasst diese Webseiten, sich zu schützen. Dabei entsteht eine Kluft zwischen der Performance von Modellen, die robots.txt-Beschränkungen respektieren, und solchen, die diese ignorieren und weiterhin auf hochwertige, gesperrte Daten zugreifen.

Ein weiterer Punkt ist die Frage der Retroaktivität: Können Webseiten rückwirkend verlangen, dass ihre Daten in bestehenden Trainingsdatensätzen gelöscht werden? Diese rechtliche Grauzone hat zu einer Reihe von Klagen geführt, beispielsweise von der New York Times gegen OpenAI. Die Unsicherheit, wie Gerichte über solche Fälle entscheiden werden, könnte die Nutzung alter Datensätze weiter einschränken.

Strategien und Alternativen: Synthetische Daten und Exklusivverträge

Ein möglicher Ausweg für die KI-Industrie besteht in der Nutzung synthetischer Daten, die unter kontrollierten Bedingungen erstellt werden. Synthetische Daten haben jedoch ihre eigenen Herausforderungen, insbesondere die Gefahr des sogenannten Modellzusammenbruchs, bei dem die Qualität des Modells durch schlechtes synthetisches Training rapide abnimmt. Gleichzeitig investieren große Tech-Unternehmen in direkte Datenzugänge durch Exklusivverträge mit Plattformen wie Reddit oder YouTube, was zwar aus wettbewerbsrechtlicher Sicht problematisch, jedoch aus unternehmerischer Sicht sinnvoll sein könnte.

Blick in die Zukunft: Wird es eine Einigung geben?

Shayne Longpre und das Team der Data Provenance Initiative fordern klare und standardisierte Protokolle, die es Webseiten ermöglichen, ihre Präferenzen für den Datenzugriff klar zu artikulieren. Die derzeitige Situation ist chaotisch und belastet sowohl Webseitenbetreiber als auch kleinere Entwickler, die oftmals ungewollt durch Beschränkungen betroffen sind. Es bleibt offen, ob sich die großen Akteure in der KI-Branche auf eine freiwillige Lösung einigen können, um den Zugang zu hochwertigen Daten zu regulieren und gleichzeitig die Rechte der Datenbesitzer zu respektieren.

Fazit: KI-Datenzugang: Die neuen Blockaden

Die Blockade von Web-Crawlern durch Webseiten stellt die KI-Industrie vor neue Herausforderungen. Während große Unternehmen die Möglichkeit haben, Daten exklusiv zu lizenzieren oder synthetische Alternativen zu nutzen, geraten kleinere Entwickler und akademische Forscher ins Hintertreffen. Der Verlust von qualitativ hochwertigen Daten könnte zu einer Verschlechterung der generativen KI-Modelle führen, es sei denn, neue Lösungen werden entwickelt. Die Zukunft der generativen KI hängt somit nicht nur von technischen Fortschritten, sondern auch von rechtlichen und gesellschaftlichen Entwicklungen ab. Eine neue Ära des Datenkampfs hat begonnen, und ihre Folgen sind noch ungewiss.

#KI #WebCrawling #DataProtection #RobotsTxt #SyntheticData

AI Has Created a Battle Over Web Crawling