robots.txt

[rantanplan2000]

Hallo,

ich spiele gerade mit einigen Webseiten-Tests herum und viele meckern, dass ich keine robots.txt habe.
Nun habe ich etwas geforscht und wollte eine eigene robots.txt hochladen. Doch ... habe ich es richtig verstanden?

Reicht es, eine Textdatei zu erstellen und lediglich:

User-agent: *
Disallow:

Sitemap: http://example.com/sitemap.xml

einzufügen?

Diese speicher ich dann unter robots.txt ab und fertig?
Ist dass alles?

Kann ich dass dann auch mit

<meta name="robots" content="index,follow">

kombinieren, oder sollte ich den meta dann aus allen Seiten löschen? Hm ...

 

[LeCub]

Prinzipiell benötigt nicht jede Seite eine robots.txt und es ist bestimmt kein Grund zu meckern.
Eventuell hilft dir das hier weiter: http://t3n.de/news/robots-txt-datei-711406/

 

[threadi]

Bei deinem o.g. robots.txt-Beispiel schließt Du alle Bots vom Indizieren aus. Ich würde es andersrum machen ;)

 

[rantanplan2000]

Oh ... also würdemeine Seite so nicht angezeigt bzw gecrawlt werden?

Anders rum - also so?

Disallow:
User-agent: *
Sitemap: http://example.com/sitemap.xml


verstehe nicht ganz was du meinst, sorry.

Laut robots.txt Test:
The following block of code ALLOWS the crawling of all files and directories to all spiders/robots.

 

[SpiceLab]

@threadi hat da wohl was verwechselt.

Durch eine fehlende Angabe hinter Disallow: wird alles erlaubt.

Zitat-Quelle: https://wiki.selfhtml.org/wiki/Grundlagen/Robots.txt#Beispiele

 

[rantanplan2000]

Danke Spicelab, jetzt war ich echt verwirrt gewesen. :-) Na, sowas passiert :-)