Heute mal testweise ein funktionierendes Konzept für einen Spider-Service^* online gestellt. Unter den ersten 7 Benutzern dann auch gleich 3 schwarze Schafe mit witzboldmäßiger Humornutzung.
Man muss doch nicht alles crawlen was man crawlen kann. Alpha-Tester sind auch nicht mehr das was sie mal waren. Ersma ne Blacklist anlegen und einbauen.

^* Sinn und Zweck der Aktion war die Idee, täglich ein Schnappschuß des eigenen Blogs als HTML-Datei per Mail zu bekommen. So eine Art automatisches Backup.