FAQ

Aus wiki.everyco-intern.info
Zur Navigation springen Zur Suche springen

Benötigt meine Website eine robots.txt-Datei?

Google selbst sagt dazu: Nein. Wenn der Googlebot eine Website besucht, versucht er zuerst, eine Erlaubnis zum Crawlen zu bekommen. Dazu ruft er nach Möglichkeit die robots.txt-Datei ab. Aber auch Websites ohne robots.txt-Datei, Robots-Meta-Tags oder X-Robots-Tag-HTTP-Header werden im Allgemeinen ganz normal gecrawlt und indexiert.

(Quelle: https://developers.google.com/search/docs/advanced/robots/robots-faq?hl=de)