Web-Roboter - robots (auch bekannt als Web Wanderer, Crawler oder Spider), sind Programme, welche das Web automatisch durchforsten.

Suchmaschinen wie Google verwenden diese, um Webinhalte zu indizieren.

Wir optimieren Ihre Web Bereiche nach Bedarf, um diese für Robots zu sperren.