Der folgende Beitrag wurde am 01. 08. 2007, 12:16 Uhr von Stefan veröffentlicht.
hallo zusammen,
wenn ich meine seite mittels passwort schütze (per eintrag in .htaccess), sind diese dann auch "gegen" suchmaschinen-spider geschützt?
ich glaube nicht, man muss wohl noch in der robots.txt entsprechende einträge setzen, obwohl der seitenzugang passwort geschützt ist.
ist das korrekt?
Der folgende Beitrag wurde am 01. 08. 2007, 12:25 Uhr von Gunnar Bittersmann veröffentlicht.
Hello out there!
> wenn ich meine seite mittels passwort schütze (per eintrag in .htaccess), sind diese dann auch "gegen" suchmaschinen-spider geschützt?
Ja. Ein Spider ist ein Agent wie ein user agent (Nutzerprogramm, Browser).
See ya up the road,
Gunnar
--
„Wer Gründe anhört, kommt in Gefahr nachzugeben.“ (Goethe)
Der folgende Beitrag wurde am 01. 08. 2007, 13:24 Uhr von Stefan veröffentlicht.
hi Gunnar,
danke dir!
dann muss ich also keine disallow einträge in der robots.txt definieren.
nice day!
Der folgende Beitrag wurde am 01. 08. 2007, 13:36 Uhr von Gunnar Bittersmann veröffentlicht.
Hello out there!
> dann muss ich also keine disallow einträge in der robots.txt definieren.
Was aber dennoch nicht schaden würde. Dann müsste der Spider nicht erst die Ressourcen anfordern um festzustellen, dass er sie nicht lesen kann.
See ya up the road,
Gunnar
--
„Wer Gründe anhört, kommt in Gefahr nachzugeben.“ (Goethe)
© 1998-2013 SELFHTMLImpressumSoftware: Classic Forum 3.4