Nicht jeder Webseitenbetreiber möchte, dass die Informationen auf der eigenen Präsenz vom Crawler der KI von ChatGPT aus dem Hause OpenAI abgegriffen werden.



Das Unternehmen hat hierfür nun eine Änderung implementiert, mit der sich genau dagegen widersprechen lässt. OpenAI bietet an, den Web-Crawler daran zu hindern, Informationen von der Webseite zu extrahieren, um damit die GPT-Modelle zu trainieren.

Dafür reicht es zum Beispiel in der robots.txt diese anzugeben: