pageLogger Boterkennung verbessern
Online seit Tue 24 November 2009 in Digital • Stichwörter Bots, Crawler, Download, PageLogger, Regex, robots, Statistik
Ich habe schon über die Statistiksoftware pageLogger berichtet und bin auch bisher damit zufrieden. Allerdings stellte ich fest, dass die Bot-Erkennungsliste etwas mager ist.
Im Verzeichnis PAGELOGGER/includes/robots liegt die Datei robots.txt. Sie ist gefüllt mit RegEx - also kleinen Textschnipseln die in einem User Agent auftauchen können - und …
Weiterlesen