• Webdesign
  • Webdesign & Webentwicklung
  • Suchmaschinenoptimierung - SEO
  • Content Management System
  • Support
  • Referenzen
  • Kunden-Map
• Social Media & Marketing
  • Social Media Guidelines
  • Facebook
  • Instagram
  • LinkedIn
  • TikTok
  • Newsletter
  • Content & Text
• Google Cloud Platform
  • Google Ads
  • Google Analytics
  • Google Workspace
  • Artificial Intelligence / Machine Learning
  • Data Analytics
  • Compute
  • Storage
  • Database
• Contact
  • Neuigkeiten
  • Contact
  • Datenschutz
  • Impressum
  • AGB's

Suchmaschinen Crawler

Begriffserklärung

Definition: Die Suchmaschinen-Crawler (u.a. auch Robots oder Spider genannt) helfen der Suchmaschine dabei Ihre Einträge aktuell zu halten. Die Aufgabe der Crawler ist die Indexierung und Analyse von Websites.

Um eine Website in den Suchergebnissen nach vorne zu bringen, muss der Crawler den Quellcode einfach und schnell lesen können. Manchmal ist es nicht sinnvoll, wenn der Crawler eine Website erfasst die eigentlich gar nicht in den Suchergebnissen auftauchen sollte (z.B. Error404 - Website nicht gefunden). Hier kann der Webdesigner mit Hilfe der Meta Tags oder der robots.txt dafür sorgen, dass die Seiten nicht indexiert werden.