Bots mit .htaccess auf IP-Basis sperren
Lästige Bots lassen sich nicht allein aufgrund des Domainnamens, von der eine Anfrage an den Webserver stammt, aussortieren. Mit entsprechenden Angaben in der Datei .htaccess ist eine IP-basierte Filterung realisierbar, die Anfragen von Adressen oder ganzen Adressblöcken abwehrt. Durch den Wegfall der ansonsten notwendigen Adressauflösungen ist diese Version performanter als die auf (Sub-)Domains aufbauende.
Etwas performanter als mit der vorher genannten Lösung gestaltet sich das Blocken von Crawlern auf Adressbasis. Das liegt daran, dass nicht zu jeder anfragenden Adresse per Lookup der zugehörige Domainname ermittelt werden muss. Die Einträge sind im Grunde genommen identisch. Der einzige Unterschied besteht darin, dass statt der (Sub-)Domainnamen direkt die zum Bot gehörende(n) Netzwerkadressen in den deny-Direktiven angegeben werden. Folgender Ansatz nutzt den IP-basierten Weg:
# bzw. Adressbereichen
order allow,deny
deny from 192.168.0.7
deny from 192.168.
allow from all
Auch in diesem Fall ist eine Schachtelung in einen FilesMatch-Block grundsätzlich sinnvoll, da auch hier wertvolle Zeit bei der Abarbeitung durch den Webserver gespart werden kann. Die hier im Beispiel angegebenen Adressen bzw. Adressbereiche liegen im lokalen Netzwerk und müssen durch die entsprechenden Adressblöcke des zu blockenden Crawlers oder Crawlernetzes ersetzt werden.
Zwar ist es für die Geschwindigkeit bei der Beantwortung von Serveranfragen vorteilhaft, dass durch den Webserver keine aufwendigen Netzwerk-Lookups durchgeführt werden müssen, allerdings ergibt sich hieraus auch ein entscheidender Nachteil: Da bei der htaccess IP-Filterung feste Netzwerkadressen angegeben werden, ist diese Form des Ausschlusses von Webcrawlern ausgesprochen unflexibel. Schließlich können sich die dem Bot zugerechneten Adressen jederzeit ändern. Der Bot-Betreiber kann sich für seine Crawler schnell einen neuen Bereich zulegen oder einen anderen bereits vorhandenen – der sowohl auf den Betreiber selbst, als auch auf einen externen Dienstleister registriert ist – nutzen.
Der alte Adressbereich kann aber jederzeit durch einen anderen Anbieter – womöglich einen großen Zugangsprovider, der die Adressen für dynamische DSL-Zugänge nutzt – übernommen werden. Das führt dazu, dass die Website durch einen Teil der Kunden des Providers, welcher den Adressbereich normalerweise langfristig nutzt, nicht erreichbar ist. Mit etwas Glück klappt der Zugriff zwar – wenn der Besucher die Internetverbindung trennt und eine neue IP-Adresse zugewiesen bekommt die nicht im durch den Webserver gesperrten Adressbereich liegt – bei einem erneuten Zugriffsversuch. Allerdings sollte man sich als Website-Betreiber nicht auf sein Glück verlassen – mal ganz abgesehen davon, dass die meisten Besucher wohl nach der ersten entsprechenden Rückmeldung des Servers (dieser meldet „Zugriff verweigert” auf der im Falle des Abblockens ausgelieferten Internetseite) keinen weiteren Versuch starten werden.
Nebenbei bemerkt können durch diesen Mechanismus auch sicherheitsrelevante Bereiche einer Internetseite wirksam geschützt werden. So ist es beispielsweise denkbar, dass der Administrationsbereich eines Webblogs, eines Forums oder einer Content-Management-Software nur aus bestimmten IP-Adressbereichen heraus abrufbar gemacht wird. Diese Vorgehensweise schränkt Angriffe auf einen recht kleinen Zugriffsbereich bzw. IP-Adressbereich ein.
Am wirkungsvollsten ist der Schutz, wenn der Administrator einer Internetseite bei der Erledigung seiner Aufgaben eine feste Adresse nutzt. Aber auch wenn nur ein bestimmter – etwa durch die bei der Einwahl vergebene Netzwerk-Adresse des DSL-Providers, welche sich stets in einem bestimmten IP-Bereich befindet – Adressbereich als Zugriffsbeschränkung genutzt wird, ist die Gefahr böswilliger Manipulationen deutlich geringer.