Inhalt des Artikels
  • Warum greift der Pinterest-Crawler auf deine Webseite zu?
  • So greift der Pinterest-Crawler auf deine Webseite zu
  • Den Pinterest-Crawler verifizieren
  • Zugriff auf deine Seite durch Pinterest beschränken
  • Wir möchten unsere Nutzer*innen dabei unterstützen, zu entdecken und zu tun, was ihnen gefällt. Deshalb legen wir bei Pinterest eine Datenbank mit Milliarden von Pins an. Zum Schutz der Pinterest-Nutzer*innen und aus Gründen der Qualitätssicherung nutzen wir Webcrawler, um Daten auf den Seiten hinter diesen Pins zu ermitteln.

    Die durchsuchten Seiten enthalten wertvolle Hinweise, die es uns ermöglichen, unsere Empfehlungen zu verbessern, Spam zu bekämpfen und nützliche Informationen zusammenzutragen. Das regelmäßige Abrufen, Speichern und Verarbeiten von Seiteninhalten im Zusammenhang mit Pins dient dazu, diese Hinweise optimal zu nutzen.​

    Warum greift der Pinterest-Crawler auf deine Webseite zu?

    Der Pinterest-Crawler greift aus drei Hauptgründen auf deine Webseite zu:

  • Um die Bilddateien für jedes Produkt aus deinem Katalog herunterzuladen
  • Um umfangreiche Metadaten wie Preis, Beschreibung und Verfügbarkeit deiner Produkte zu sammeln
  • Um die Sicherheit der Besucher*innen zu gewährleisten
  • So greift der Pinterest-Crawler auf deine Webseite zu

    Beim Besuch einer Webseite sendet der Pinterest-Crawler einen gültigen User-Agent von Pinterest aus. Die Verbindung wird über ein von uns betriebenes Netzwerk hergestellt.

    Der Pinterest-Crawler entspricht den Vorgaben des Robots Exclusion Standard (robots.txt) und ist so konfiguriert, dass bei gleichzeitigen Anforderungen auf deiner Webseite ein Übertragungsratenlimit greift. Wir raten davon ab, diese IP-Adressen explizit in deine Webseitenkonfiguration einzutragen, da sich die Adressen, die der Crawler nutzt, ohne Vorankündigung ändern können.

    Der User-Agent lautet:

    Pinterest/0.2 (+https://www.pinterest.com/bot.html)
    Mozilla/5.0 (kompatibel; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (kompatibel; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

    Unsere IP-Adresse ist dynamisch und ändert sich häufig, liegt aber immer im Bereich von 54.236.1.001 bis 54.236.1.255.

    Geografisch verteiltes Crawling

    Der Pinterest-Crawler verwendet hauptsächlich US-amerikanische IP-Adressen für das Crawling. Zur Unterstützung lokalisiert Daten verwenden wir unter Umständen auch IP-Adressen außerhalb der USA.

    US-amerikanische IP-Adressen befinden sich stets innerhalb des IP-Bereichs 54.236.1.XXX.

    Für nicht US-amerikanische IP-Adressen gibt es keinen festgelegten Bereich. Hast du Bedenken, dass Nutzer*innen auf deine Webseite zugreifen und so tun, als wären sie der Pinterest-Crawler? Verifiziere seine Authentizität, indem du die Schritte im nächsten Abschnitt befolgst. Verlasse dich dabei lieber nicht auf eine IP-Bereichsprüfung.

    Den Pinterest-Crawler verifizieren
  • Verwende den Host-Befehl, um eine umgekehrte DNS-Suche mit der IP-Adresse aus deinen Protokollen auszuführen.
  • Überprüfe, ob der Domain-Name in der Antwort auf pinterest.com endet oder pinterestcrawler.com endet.
  • Verwende den Host-Befehl, um eine Vorwärts-DNS-Suche mit der Antwort aus Schritt 1 auszuführen.
  • Überprüfe, ob es sich um dieselbe IP-Adresse wie in Schritt 1 handelt.
  • Wenn du eine konsistente Datenmenge von einem Client empfängst, der einen gültigen User-Agent von Pinterest aussendet, jedoch nicht den obigen DNS-Test besteht, wende dich an uns.

    Zugriff auf deine Seite durch Pinterest beschränken

    Aktualisiere die Datei „robots.txt“ deiner Webseite, um das Verhalten des Pinterest-Crawlers anzupassen. Die Datei „robots.txt“ muss sich auf der Hauptdomain befinden, da wir robots.txt-Dateien auf Subdomains nicht unterstützen.

    Große Crawl-Verzögerungen beeinträchtigen das Verbreiten und Empfehlen deiner Inhalte auf Pinterest. Daher akzeptieren wir Verzögerungen bis zu einem Wert von 1 und behandeln alle größeren Werte wie 1. Kontaktiere uns, wenn du eine größere Crawl-Verzögerung brauchst.

    user-agent: Pinterestbot
    Crawl-delay: 0.2
    user-agent: Pinterestbot
    disallow: /
    user-agent: Pinterestbot
    disallow: /directory1/
    user-agent: Pinterestbot
    disallow: /directory1/
    allow: /directory1/subdirectory1/
    user-agent: Pinterestbot
    disallow: /directory1/
    allow: /directory1/subdirectory1/
    crawl-delay: 0.2
    End of Other articles Links
    Brauchst du immer noch Hilfe? Kontakt
    User feedback
    War dieser Artikel hilfreich?

    collection_fields

    Wie können wir diesen Artikel verbessern?