Unser Crawler, GetTheJerseyBot
GetTheJerseyBot liest die öffentlichen Angebote von Shops, die Vintage-Fußballtrikots verkaufen, damit Get the Jersey ihre Warenpreise vergleichen kann. Hier steht, was er abruft, wie schnell, und wie du ihn stoppst.
Er nennt sich in jeder Anfrage mit diesem User-Agent:GetTheJerseyBot/0.2 (+https://getthejersey.com/bot; hhtb18@gmail.com)
Was er sammelt
Aus öffentlichen Produktseiten und Shop-Feeds: Titel, Warenpreis, Größe, Verfügbarkeit und den Link zur Produktseite. Saison, Trikotart und Zustand liest eine Maschine aus Titel und Beschreibung. Deine Fotos und deine Beschreibungstexte zeigen wir nicht.
Er meldet sich nie an, umgeht keine Paywall, legt nichts in einen Warenkorb und liest keine Kundendaten.
Abruftakt
Höchstens eine Anfrage pro Sekunde und Shop, langsamer bei Shops auf einer gemeinsamen Shop-Plattform. Ein Crawl-delay für GetTheJerseyBot in deiner robots.txt bremst ihn weiter. Bei HTTP 429 oder einem Serverfehler wartet er und versucht es erneut (mit Retry-After); antwortet dein Shop weiter mit 429, bricht der Lauf ab.
robots.txt
Bevor er etwas abruft, liest er deine robots.txt und folgt den Regeln für GetTheJerseyBot, oder denen für alle User-Agents (*), wenn es für ihn keine gibt. Ist deine robots.txt nicht lesbar oder antwortet sie mit 401, 403, 429 oder einem Serverfehler, ruft er nichts aus deinem Shop ab. So sperrst du ihn ganz:
User-agent: GetTheJerseyBot
Disallow: /Die Sperre gilt ab dem nächsten Lauf. Um deinen Shop sofort von der Seite zu nehmen, nutze das Formular Deinen Shop entfernen.
Kontakt
Fragen zum Crawler, ein Problem, das er verursacht hat, oder der Wunsch, ihn zu bremsen: schreib uns über das Kontaktformular. Wir lesen jede Nachricht.