Technik

Crawler

Ein Crawler ist ein Programm, das Webseiten automatisiert abruft, um deren Inhalte zu indexieren oder als Kontext für Antwortsysteme verfügbar zu machen.

Einordnung

KI-Anbieter setzen eigene Crawler ein. Deren Zugriff wird über robots.txt gesteuert – eine bewusste, dokumentierte Entscheidung.

Teil eines Glossars mit 42 Begriffen – alle ansehen.