meta tags, problem mit robots.txt

[FreddyS]

Hallo, stehe vor einem total ubverständlichen Problem.

Habe auf meiner webseite u. a. folgenden meta tag:

<meta name="robots" content="index,follow">

eine robots.txt habe ich nicht erstellt.

Trotzdem erhalte ich, wenn ich die google-webmaster-tools benutze, folgende Fehlermeldungen:

Crawling-Fehler, durch robots.txt gesperrt

Auch werden von google keine links auf meine seiten erkannt, während andere suchmaschinen (z.B. yahoo) diese finden.

Hat jemand eine Ahnung, was trotz nicht vorhandener robots.txt zu solchen fehlern führen kann

 

[threadi]

Ist das schon länger so?

Bist Du absolut sicher, dass Du keine robots.txt unter www.domain.de/robots.txt liegen hast?

 

[FreddyS]

eine robots.txt habe ich mit sicherheit nicht, wüsste gar nicht wie die erstellt wird.

Die seite ist noch nicht so lange im netz, daher weiss ich auch nicht, ob schon immer (wahrscheinlich) oder nicht

Kann es sein, dass eine automatische sperre gesetzt wird, wenn validierungsfehler enthalten sind (habe alle validierungsfehler, waren eine ganze menge, erst heute behoben) und die seite bei google zur erneuten überprüfung angemeldet

 

[threadi]

Validierungsfehler verursachen (bisher) keinen Ausschluss von der Indexierung, erst recht nicht in Verbindung mit der robots.txt.

Wenn Du dir nicht sicher bist, ob Du überhaupt eine robots.txt hast dann schau besser mal wie beschrieben nach. Die Datei heißt "robots.txt" und könnte auch vom Hoster vorgegeben oder von einem "Einbrecher" hinterlegt wurden sein. Schau außerdem mal nach von wann diese Meldung bei Google ist - imho steht da auch ein Datum, wann zuletzt darauf zugegriffen wurde. Und wenn Du wirklich keine robots.txt hast, dann leg sie an. In den WebmasterTools wird die auch empfohlen wie diese aussehen sollte - sind nur 2 Zeilen.