Millionen Anfragen in 24 Stunden. Was ist da los? iFixit’s CEO Kyle Wiens hat auf X Alarm geschlagen: Der ClaudeBot von Anthropic, der Webcrawler für die Datensammlung zur KI-Trainingsmodelle wie Claude, hat die Server von iFixit förmlich überflutet und dabei anscheinend die Nutzungsbedingungen verletzt. In einer scharfen Nachricht auf X zeigt Wiens Screenshots, die bestätigen, dass der Bot trotz klarer Verbote iFixit’s Inhalte angefragt hat. Eine Million Zugriffe in einem einzigen Tag? Das ist kein Zufall, sondern ein gravierendes Problem. Das musst Du wissen – Anthropic ClaudeBot: Ignoriert Anti-Scraping-Richtlinien Verstoß gegen Nutzungsbedingungen: Der ClaudeBot von Anthropic ignorierte die klar definierten Regeln von iFixit, die das Reproduzieren, Kopieren oder Verteilen ihrer Inhalte strikt untersagen. Überlastung der Server: Die enorm hohe Rate der Anfragen setzte die Alarmglocken bei iFixit’s DevOps-Team in Gang und überlastete die Serverressourcen. Reaktion von Anthropic: Anthropic verwies lediglich auf eine FAQ-Seite und behauptete, ihr Crawler würde durch die robots.txt-Datei gestoppt. Zusätzliche Betroffene: Auch andere Websites, wie Read the Docs und Freelancer.com, berichteten von ähnlichen Erfahrungen mit aggressivem Scraping durch ClaudeBot. Robots.txt als einzige Verteidigung: Viele Unternehmen, einschließlich OpenAI, setzen auf die robots.txt-Datei als Schutzmaßnahme, obwohl diese Methode oft nicht flexibel genug ist. Die Vorstellung, dass ein Webcrawler innerhalb von 24 Stunden eine Million Anfragen stellt, lässt jeden Webseitenbetreiber aufhorchen. iFixit, ein führender Anbieter von Reparaturanleitungen und Ersatzteilen, kennt sich gut mit Webcrawlern aus, doch das war eine neue Dimension. Laut Wiens setzten die Anfragen des ClaudeBot alle Alarmsysteme in Gang und zwangen das DevOps-Team, sofort zu reagieren. iFixit’s Nutzungsbedingungen sind eindeutig: Ohne schriftliche Erlaubnis ist das Verwenden ihrer Inhalte, speziell für das Training von KI-Modellen, strikt verboten. Anthropic’s Antwort auf die Vorwürfe? Ein Verweis auf eine FAQ-Seite, die behauptet, dass ihr Crawler durch eine robots.txt-Datei gestoppt wird. iFixit musste diese Datei um die crawl-delay-Erweiterung ergänzen, um die Anfragen zu stoppen. Dies zeigt die Lücke in der Verteidigung gegen aggressive Webcrawler: Die robots.txt-Datei ist oft die einzige, aber nicht immer effektive Verteidigung. Andere Unternehmen haben ähnliche Erfahrungen gemacht. Eric Holscher von Read the Docs und Matt Barrie von Freelancer.com berichteten ebenfalls über massives Scraping durch Anthropic’s ClaudeBot. Dieses Problem ist nicht neu. Schon im April führte der ClaudeBot zu einem Ausfall der Linux Mint-Webforen. Dies zeigt, dass die Webcrawler-Problematik systematisch ist und nicht auf einzelne Vorfälle beschränkt. Während einige Unternehmen wie OpenAI die Nutzung der robots.txt-Datei als Verteidigungsmethode akzeptieren, ignorieren andere wie Perplexity diese vollständig. Dennoch bleibt diese Methode eine der wenigen verfügbaren Optionen, um Websites vor unerwünschtem Scraping zu schützen. Fazit: Anthropic ClaudeBot: Ignoriert Anti-Scraping-Richtlinien Das aggressive Verhalten von Anthropic’s ClaudeBot zeigt die dringende Notwendigkeit für bessere Schutzmaßnahmen gegen Webcrawler. Die aktuelle Abhängigkeit von der robots.txt-Datei reicht oft nicht aus, um die Datenintegrität und Serverressourcen zu schützen. Unternehmen müssen wachsam bleiben und proaktiv handeln, um ihre digitalen Inhalte zu verteidigen. Es ist klar, dass ein Dialog zwischen Website-Betreibern und KI-Unternehmen notwendig ist, um faire und transparente Nutzung von Webinhalten zu gewährleisten. #Tech #AI #Webcrawler #WebSecurity #DigitalContent iFixit’s CEO says ClaudeBot hit the website’s servers ‘a m
Anthropic ClaudeBot: Ignoriert Anti-Scraping-Richtlinien – Ein Alarm für Website-Betreiber
