Pinterest-Crawler

Um unsere Nutzer bei dem zu unterstützten, was sie lieben, legen wir bei Pinterest eine Datenbank mit Millionen von Pins an. Zum Schutz unserer Nutzer und aus Gründen der Qualitätssicherung nutzen wir Webcrawler, um Daten auf den Seiten zu diesen Pins zu ermitteln.

Die durchsuchten Seiten enthalten wertvolle Hinweise, die es uns ermöglichen, unsere Empfehlungen zu verbessern, Spam zu bekämpfen und nützliche Informationen zusammenzutragen. Das regelmäßige Abrufen, Speichern und Verarbeiten von Seiteninhalten im Zusammenhang mit Pins dient dazu, diese Hinweise optimal zu nutzen.

So greift Pinterest auf deine Webseite zu

Beim Besuch einer Webseite sendet der Pinterest-Crawler einen gültigen Pinterest-User-Agent aus. Die Verbindung wird über ein von Pinterest betriebenes Netzwerk hergestellt. Der Pinterest-Webcrawler entspricht nicht nur den Vorgaben des Robots Exclusion Standard, sondern ist darüber hinaus so konfiguriert, dass bei Eingang gleichzeitiger Anforderungen auf der Webseite automatisch ein Übertragungsratenlimit greift, das die Datenauslastung reduziert.

Wir raten Webmastern dazu, diese IP-Adressen nicht als vordefinierte Codes in ihre Webseiten-Konfiguration aufzunehmen, da sich die Adressen, die der Crawler nutzt, ohne Vorankündigung ändern können.

Der Nutzer-Agent von Pinterest lautet:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (kompatibel; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (kompatibel; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

Die Pinterest-IP ist dynamisch und ändert sich daher ständig. Sie wird aber immer in folgendem Bereich liegen: 54.236.1.XXX.

Den Pinterest-Crawler verifizieren

  1. Verwende den Host-Befehl, um eine umgekehrte DNS-Suche mit der IP-Adresse aus deinen Protokollen auszuführen.
  2. Überprüfe, ob der Domänenname in der Antwort auf pinterest.com endet.
  3. Verwende den Host-Befehl, um eine Vorwärts-DNS-Suche mit der Antwort aus Schritt 1 auszuführen.
  4. Überprüfe, ob es sich um dieselbe IP-Adresse wie in Schritt 1 handelt.

Wenn du ein konsistentes Datenaufkommen von einem Client empfängst, der einen gültigen Pinterest-User-Agent aussendet, jedoch nicht den obigen DNS-Test besteht, erstelle bitte ein Support-Ticket.

Zugriff auf deine Seite durch Pinterest beschränken

Um das Verhalten des Pinterest-Crawlers zu ändern, musst du Änderungen an der robots-txt-Datei deiner Seite vornehmen. Der Pinterest-Crawler gehorcht folgenden Anweisungen:

  • Nicht zulassen
  • Zulassen
  • Crawl-delay (Webseite nur in bestimmten Abständen besuchen)
     
Brauchst du immer noch Hilfe?
Kontakt