<?xml version="1.0"?>
<feed xmlns="http://www.w3.org/2005/Atom" xml:lang="de">
	<id>http://wiki.everyco-intern.info/index.php?action=history&amp;feed=atom&amp;title=FAQ</id>
	<title>FAQ - Versionsgeschichte</title>
	<link rel="self" type="application/atom+xml" href="http://wiki.everyco-intern.info/index.php?action=history&amp;feed=atom&amp;title=FAQ"/>
	<link rel="alternate" type="text/html" href="http://wiki.everyco-intern.info/index.php?title=FAQ&amp;action=history"/>
	<updated>2026-11-20T16:03:25Z</updated>
	<subtitle>Versionsgeschichte dieser Seite in wiki.everyco-intern.info</subtitle>
	<generator>MediaWiki 1.35.1</generator>
	<entry>
		<id>http://wiki.everyco-intern.info/index.php?title=FAQ&amp;diff=266&amp;oldid=prev</id>
		<title>Katrin: Die Seite wurde neu angelegt: „Benötigt meine Website eine robots.txt-Datei?  Google selbst sagt dazu: Nein. Wenn der Googlebot eine Website besucht, versucht er zuerst, eine Erlaubnis zum…“</title>
		<link rel="alternate" type="text/html" href="http://wiki.everyco-intern.info/index.php?title=FAQ&amp;diff=266&amp;oldid=prev"/>
		<updated>2021-09-09T11:40:22Z</updated>

		<summary type="html">&lt;p&gt;Die Seite wurde neu angelegt: „Benötigt meine Website eine robots.txt-Datei?  Google selbst sagt dazu: Nein. Wenn der Googlebot eine Website besucht, versucht er zuerst, eine Erlaubnis zum…“&lt;/p&gt;
&lt;p&gt;&lt;b&gt;Neue Seite&lt;/b&gt;&lt;/p&gt;&lt;div&gt;Benötigt meine Website eine robots.txt-Datei?&lt;br /&gt;
&lt;br /&gt;
Google selbst sagt dazu:&lt;br /&gt;
Nein. Wenn der Googlebot eine Website besucht, versucht er zuerst, eine Erlaubnis zum Crawlen zu bekommen. Dazu ruft er nach Möglichkeit die robots.txt-Datei ab. Aber auch Websites ohne robots.txt-Datei, Robots-Meta-Tags oder X-Robots-Tag-HTTP-Header werden im Allgemeinen ganz normal gecrawlt und indexiert. &lt;br /&gt;
&lt;br /&gt;
(Quelle: https://developers.google.com/search/docs/advanced/robots/robots-faq?hl=de)&lt;/div&gt;</summary>
		<author><name>Katrin</name></author>
	</entry>
</feed>