FAQ
Zur Navigation springen
Zur Suche springen
Benötigt meine Website eine robots.txt-Datei?
Google selbst sagt dazu: Nein. Wenn der Googlebot eine Website besucht, versucht er zuerst, eine Erlaubnis zum Crawlen zu bekommen. Dazu ruft er nach Möglichkeit die robots.txt-Datei ab. Aber auch Websites ohne robots.txt-Datei, Robots-Meta-Tags oder X-Robots-Tag-HTTP-Header werden im Allgemeinen ganz normal gecrawlt und indexiert.
(Quelle: https://developers.google.com/search/docs/advanced/robots/robots-faq?hl=de)