SELFHTML Forum
SELFHTML Forumsarchiv
2008
Februar
 |
SELFHTML Forumsarchiv |
 |
|
 |
|
Die folgende Nachricht zum Thema stammt von: Jan, 28. 02. 2008, 10:19
Hallo zusammen,
ich versuche mit folgenden Einträgen in der httpd.conf diese Bots auszusperren, leider ohne Erfolg, sie tauchen immer wieder in den Logfiles auf.
Ich denke der Reguläüre ausdruck mit dem User-Agent stimmt nicht.
Kann mir da jemand helfen?
SetEnvIfNoCase User-Agent "^MJ12bot(.*)" stay_out
SetEnvIfNoCase User-Agent "Googlebot" stay_out
SetEnvIfNoCase User-Agent "Slurp" stay_out
<Location />
Order Allow,Deny
Deny from env=stay_out
Allow from all
</Location>
Lieben Gruß Jan
Die folgende Nachricht zum Thema stammt von: Cybaer, 28. 02. 2008, 10:48
Hi,
»» ich versuche mit folgenden Einträgen in der httpd.conf diese Bots auszusperren, leider ohne Erfolg, sie tauchen immer wieder in den Logfiles auf.
Leg einfach eine robots.txt an, mit diesen Bots der Zugriff generell (also bereits auf Rootebene) verboten wird.
Gute Bots (also genannte) halten sich daran). Wenn sich böse Bots nicht daran halten wollen, kannst Du mit der Abfrage des UAs auch nichts verhindern.
Gruß, Cybaer
--
Man kann doch sehr leicht jenen tugendhaften Menschen begegnen, (...) die eine Art "unkrümmbaren Zeigefinger" besitzen, der ständig den kalten Wind des Rechthabens ausströmt. (Wolfgang Huber, Bischof)
Die Tugend jagt nicht den Teufel, sondern den Sündhaften. Damit wird sie zum Terror. (Hans-Ulrich Jörges, Journalist)
Die folgende Nachricht zum Thema stammt von: Jan, 28. 02. 2008, 10:56
Hi,
kann ich denn eine "globale" robots.txt anlegen, oder muss ich die für jedes Web in den HTML-Ordner legen?
Danke und Gruß Jan
Die folgende Nachricht zum Thema stammt von: Matt, 28. 02. 2008, 11:05
»» kann ich denn eine "globale" robots.txt anlegen, oder muss ich die für jedes Web in den HTML-Ordner legen?
http://de.selfhtml.org/diverses/robots.htm
Die folgende Nachricht zum Thema stammt von: Cybaer, 28. 02. 2008, 11:28
Hi,
»» kann ich denn eine "globale" robots.txt anlegen, oder muss ich die für jedes Web in den HTML-Ordner legen?
Für jede Website einmalig in die Document-Root-Ebene.
Oder natürlich einmalig und einfach überall als Link anlegen.
Oder natürlich einmalig und dessen Inhalt beim HTTP-Zugriff ausgeben lassen (mod_alias oder mod_rewrite)
Gruß, Cybaer
--
Man kann doch sehr leicht jenen tugendhaften Menschen begegnen, (...) die eine Art "unkrümmbaren Zeigefinger" besitzen, der ständig den kalten Wind des Rechthabens ausströmt. (Wolfgang Huber, Bischof)
Die Tugend jagt nicht den Teufel, sondern den Sündhaften. Damit wird sie zum Terror. (Hans-Ulrich Jörges, Journalist)
Die folgende Nachricht zum Thema stammt von: Sven Rautenberg, 28. 02. 2008, 10:49
Moin!
»» ich versuche mit folgenden Einträgen in der httpd.conf diese Bots auszusperren
Gegen was soll das denn helfen?
- Sven Rautenberg
--
"Love your nation - respect the others."
© 1998-2006 
Impressum, Software: Classic Forum
(SERVER)