SELFHTML Forum
SELFHTML Forumsarchiv
2007
September
 |
SELFHTML Forumsarchiv |
 |
|
 |
|
Die folgende Nachricht zum Thema stammt von: nfs, 30. 09. 2007, 23:54
hallo
das reicht für alle Verzeichnisse und Dateien zu indexieren oder?
sollte man noch was schreiben? oder ergänzen
User-agent: *
Disallow:
Die folgende Nachricht zum Thema stammt von: Sven Rautenberg, 01. 10. 2007, 00:40
Moin!
»» das reicht für alle Verzeichnisse und Dateien zu indexieren oder?
»» sollte man noch was schreiben? oder ergänzen
»»
»» User-agent: *
»» Disallow:
"Schließe alle Seiten von der Indexierung aus." So würde ich das verstehen. Ist die Frage, ob du das auch sagen willst.
- Sven Rautenberg
--
"Love your nation - respect the others."
Die folgende Nachricht zum Thema stammt von: Markus, 01. 10. 2007, 02:59
Hallo,
»» User-agent: *
»» Disallow:
erlaubt das Indexieren aller Dateien und Verzeichnisse. Allerdings ist eine solche Angabe wenig Sinnvoll wenn man es vorher nicht eingeschränkt hat. Die robots.txt dient dazu Dinge zu "verbieten" und alles was nicht durch sie eingeschränkt ist, ist erlaubt.
Gruß
Markus
Die folgende Nachricht zum Thema stammt von: Sven Rautenberg, 01. 10. 2007, 10:28
Moin!
»» »» User-agent: *
»» »» Disallow:
»»
»» erlaubt das Indexieren aller Dateien und Verzeichnisse.
Wenn ich so einen Effekt wollte, würde ich die Datei einfach komplett leer anlegen.
»» Allerdings ist eine solche Angabe wenig Sinnvoll wenn man es vorher nicht eingeschränkt hat. Die robots.txt dient dazu Dinge zu "verbieten" und alles was nicht durch sie eingeschränkt ist, ist erlaubt.
Da "alles erlaubt" sowieso Standardverhalten ist, bringt es nichts, Verbote auf diese Weise aufzuheben.
- Sven Rautenberg
--
"Love your nation - respect the others."
Die folgende Nachricht zum Thema stammt von: thunderstorm, 01. 10. 2007, 10:34
Fragt sich nur was es bspw. für einen Sinn macht Verzeichnisse zu indexieren die Images, Datenbank(en), scripts oder ggf. administations Pages enthalten?
Möglicherweise macht eine solche Datei Sinn wie die folgende:
User-agent: *
Disallow: /db/
Disallow: /images/
Disallow: /scripts/
Disallow: /stylesheets/
Disallow: /search/
# - - - - - Dateien - - - - -
Disallow: *_ado.asp
Disallow: *.txt
© 1998-2006 
Impressum, Software: Classic Forum
(HTTP)