Pinterest-Crawler

Um unsere Nutzer bei dem zu unterstützten, was sie lieben, legen wir bei Pinterest eine Datenbank mit Millionen von Pins an. Zum Schutz unserer Nutzer und aus Gründen der Qualitätssicherung nutzen wir Webcrawler, um Daten auf den Seiten zu diesen Pins zu ermitteln.

Die durchsuchten Seiten enthalten wertvolle Hinweise, die es uns ermöglichen, unsere Empfehlungen zu verbessern, Spam zu bekämpfen und nützliche Informationen zusammenzutragen. Das regelmäßige Abrufen, Speichern und Verarbeiten von Seiteninhalten im Zusammenhang mit Pins dient dazu, diese Hinweise optimal zu nutzen.

So greift Pinterest auf deine Webseite zu

Beim Besuch einer Webseite sendet der Pinterest-Crawler einen gültigen Pinterest-User-Agent aus. Die Verbindung wird über ein von Pinterest betriebenes Netzwerk hergestellt.

Der Pinterest-Crawler entspricht den Vorgaben des Robots Exclusion Standard (robots.txt) und ist so konfiguriert, dass bei gleichzeitigen Anforderungen auf deiner Webseite ein Übertragungsratenlimit greift. Wir raten davon ab, diese IP-Adressen als vorgefertigte Codes in deine Webseitenkonfiguration aufzunehmen, da sich die Adressen, die der Crawler nutzt, ohne Vorankündigung ändern können.

Der Nutzer-Agent von Pinterest lautet:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (kompatibel; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (kompatibel; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

Die Pinterest-IP-Adresse ist dynamisch und ändert sich häufig, liegt jedoch immer in folgendem Bereich: 54.236.1.XXX.

Den Pinterest-Crawler verifizieren

  1. Verwende den Host-Befehl, um eine umgekehrte DNS-Suche mit der IP-Adresse aus deinen Protokollen auszuführen.
  2. Überprüfe, ob der Domain-Name in der Antwort auf pinterest.com endet.
  3. Verwende den Host-Befehl, um eine Vorwärts-DNS-Suche mit der Antwort aus Schritt 1 auszuführen.
  4. Überprüfe, ob es sich um dieselbe IP-Adresse wie in Schritt 1 handelt.

Wenn du eine konsistente Datenmenge von einem Client empfängst, der einen gültigen Pinterest-User-Agent-String aussendet, jedoch nicht den obigen DNS-Test besteht, wende dich an uns.

Zugriff auf deine Seite durch Pinterest beschränken

Aktualisiere die Datei „robots.txt“ deiner Webseite, um das Verhalten des Pinterest-Crawlers anzupassen. Die Datei „robots.txt“ muss sich auf der Hauptdomain befinden, da wir robots.txt-Dateien auf Subdomains nicht unterstützen.

Große Crawl-Verzögerungen beeinträchtigen das Verbreiten und Empfehlen deiner Inhalte auf Pinterest. Daher akzeptieren wir Verzögerungen bis zu einem Wert von 1 und behandeln alle größeren Werte wie 1. Wenn du dies anerkennst und dennoch eine größere Crawl-Verzögerung benötigst, wende dich an uns.

Brauchst du immer noch Hilfe?
Kontakt