Crawler

Programme, die kontinuierlich Webseiten im Internet auslesen

Als Crawler werden Programme bezeichnet, die kontinuierlich Webseiten im Internet indexieren. Dieser Vorgang besteht darin, die Inhalte der Webseiten in durchsuchbarer Form in einer eigenen Datenbank abzulegen und allen Links zu folgen. Ferner werden manuell angemeldete Webseiten auf diesem Wege inspiziert. Andere Worte für Crawler: Bot, Crawler, Robot, Spider