robot.txt

[Industriemeister]

Hallo,

ich bin mir nicht ganz sicher ob sich die Zeilen mit Erlauben und Sperren ggf. ausschließen.
Bitte schaut mal drauf.

User-Agent: *
User-Agent: /Images/Stellungen/
User-Agent: /Images/orchidee.gif
User-Agent: /Images/logo_heisse-fantasien_breit.gif
User-Agent: /Images/stengelblume.gif
User-Agent: /Images/tech_update.gif
User-Agent: /Images/inhalt_update.gif
User-Agent: /Images/Navigation/home_out.gif
User-Agent: /Images/Navigation/fantasie_out.gif
User-Agent: /Images/Navigation/stellung_out.gif
User-Agent: /Images/Navigation/ideen_out.gif
User-Agent: /Images/Navigation/medien_out.gif
User-Agent: /Images/Navigation/projekt_out.gif
User-Agent: /Images/Navigation/gaeste_out.gif
User-Agent: /Images/Navigation/links_out.gif
User-Agent: /Images/Navigation/kontakt_out.gif
User-Agent: /Images/Navigation/ie-navi-unten.gif
User-Agent: /Images/Navigation/ie-navi-oben-home.gif
User-Agent: /Images/neu_im_kreis.gif
User-Agent: /Images/dot.gif
Disallow: /Images/
Disallow: /aus/
Disallow: /.js
Disallow: /.css
Disallow: /.inc
Disallow: /*impressum*
Disallow: impressum.htm
Disallow: impressum

Mir geht es vor allem um die Erlaubnis der einzelnen Dateien.

 

[Wustersoss]

Schau dir mal an wie eine Robots.txt aufgebaut sein sollte: Robots Exclusion Standard

Erlauben macht man mit Allow:

 

[Tomm]

Also das was du da geschrieben hast,stimmt glaube ich nicht
Hinter User-Agent schreibt man immer den Namen des Crawlers,für die die Regel gelten soll

mit Disallow wird verboten und mit Allow wird erlaubt
Wenn es für alle Crawler gelten soll schreibt man User-agent: *


Mit der Datei robots.txt Seiten vor Robots schützen

 

[Industriemeister]

was aber in den Erklärungen nicht erwähnt wird...

gibt es eine Reihenfolge von Disallow und Allow?
Besonders wenn Das Verzeichnis Images gesperrt ist aber einzelne Dateien in selbigem Verzeichnis frei sind.

 

[Wustersoss]

was aber in den Erklärungen nicht erwähnt wird...
gibt es eine Reihenfolge von Disallow und Allow?

Doch, wird in beiden Anleitungen erwähnt.

Bitte noch mal lesen.

 

[Tomm]

was aber in den Erklärungen nicht erwähnt wird...

gibt es eine Reihenfolge von Disallow und Allow?
Besonders wenn Das Verzeichnis Images gesperrt ist aber einzelne Dateien in selbigem Verzeichnis frei sind.

Wenn das Verzeichnis Images gesperrt wird,und dann gleichzeitig einzelne Dateien im Verzeichnis Images wieder erlaubt sein sollen,
dann weiss ich nicht so genau,wie das funktioniert.Ich würde dann diese Dateien lieber in ein anderes Verzeichnis verschieben.

eventuell könnte es so funktionieren

User-agent: *
Disallow: /Images
Allow: /Images/Stellungen/
Allow: /Images/orchidee.gif

 

[Wustersoss]

Es muss so lauten:

User-Agent: *
Disallow: /Images/
Allow: /Images/Stellungen/
Allow: /Images/orchidee.gif
Allow: /Images/logo_heisse-fantasien_breit.gif
Allow: /Images/stengelblume.gif
Allow: /Images/tech_update.gif
Allow: /Images/inhalt_update.gif
Allow: /Images/Navigation/home_out.gif
Allow: /Images/Navigation/fantasie_out.gif
Allow: /Images/Navigation/stellung_out.gif
Allow: /Images/Navigation/ideen_out.gif
Allow: /Images/Navigation/medien_out.gif
Allow: /Images/Navigation/projekt_out.gif
Allow: /Images/Navigation/gaeste_out.gif
Allow: /Images/Navigation/links_out.gif
Allow: /Images/Navigation/kontakt_out.gif
Allow: /Images/Navigation/ie-navi-unten.gif
Allow: /Images/Navigation/ie-navi-oben-home.gif
Allow: /Images/neu_im_kreis.gif
Allow: /Images/dot.gif
Disallow: /aus/
Disallow: /.js
Disallow: /.css
Disallow: /.inc
Disallow: /impressum/
Disallow: impressum.htm