• Jetzt anmelden. Es dauert nur 2 Minuten und ist kostenlos!

Suchmaschinenzugriff mittels robots.txt granular steuern

Niffchen

Neues Mitglied
Hallo,

Ich habe heute ein etwas kniffliges Problem mit der robots.txt und hoffe, dass Ihr mir da helfen könnt.
Und zwar habe ich einen Unterordner mit vielen Dateien, welche für eine Suchmaschine nicht vn Interesse sind. Deshalb habe ich den Ordner und alles darunter per Disallow für Suchmaschinen ausgeschlossen.
Da ich ein CMS einsetze, welche diverse Plug-Ins benutzt, werden in manchen Situationen diese Plug-Ins aus dem obigen Ordner in den Seiten eingebunden.
Jetzt möchte ich den Suchmaschinen Zugriff auf spezielle Unterordner bzw. Dateien innerhalb des oben aus Disallow gesetzten Ordners gewähren.
Wie mache ich das nur? Bisher war meine Suche in der Hinsicht erfolglos.
Ich dank euch für Eure Mühe!

Gruß,
Jens
 
Werbung:
Du kannst nach der Disallow Regel, eine Allow Regel hinzufügen:
Code:
Disallow: /files/
Allow: /files/file.pdf

Inwiefern das mit den Suchmaschinen kompatibel ist, weiß ich allerdings nicht.
 
Zurück
Oben