Pinterest-crawler

We helpen mensen met het ontdekken en doen wat ze leuk vinden. Daarom maken we een database met miljarden pins op Pinterest. Om ervoor te zorgen dat onze gebruikers alleen de beste content te zien krijgen, maken we gebruik van webcrawlers om de gegevens op de websites waar pins naar verwijzen, te identificeren.

Deze websites bevatten gedetailleerde gegevens waarmee we betere aanbevelingen kunnen doen, spam kunnen voorkomen en nuttige informatie kunnen laten zien. Om deze gegevens ten volste te kunnen benutten, worden de websites waarnaar pins verwijzen regelmatig opgehaald, opgeslagen en geanalyseerd.

Hoe Pinterest je website bezoekt

Als een echte Pinterest-crawler je website bezoekt, gebeurt dit met een authentieke useragent van Pinterest, vanaf een netwerk dat door Pinterest wordt beheerd.

De Pinterest-crawler volgt de Robots Exclusion Standard (robots.txt) en zorgt er ook voor dat er niet te veel gelijktijdige verzoeken naar je website worden gestuurd. Neem deze IP-adressen niet op in de configuratie van je website. De IP-adressen van de crawler kunnen in de toekomst zonder kennisgeving veranderen.

De useragent van Pinterest is:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

Het IP-adres van Pinterest is dynamisch en verandert dus voortdurend. Wel is het bereik altijd 54.236.1.XXX.

Controleren of een verzoek van de Pinterest-crawler komt

  1. Gebruik de opdracht 'host' om een reverse-DNS-lookup uit te voeren op het IP-adres uit je logbestanden
  2. Controleer dat de domeinnaam van het antwoord eindigt op pinterest.com
  3. Gebruik de opdracht 'host' om een forward-DNS-lookup uit te voeren op het antwoord uit stap 1
  4. Controleer of het IP-adres overeenkomt met dat uit stap 1

Ontvang je een constante hoeveelheid verkeer van een client met een geldige useragent van Pinterest, maar levert de bovenstaande DNS-test iets anders op? Neem dan contact met ons op.

Voorkomen of beperken dat Pinterest je website kan bezoeken

Als je het gedrag van de Pinterest-crawler wilt aanpassen, moet je het bestand robots.txt van je website wijzigen. Zorg ervoor dat je het bestand robots.txt op het hoofddomein van je website plaatst. robots.txt-bestanden op subdomeinen worden niet ondersteund.

Een lange crawlvertraging heeft een negatieve invloed op de distributie en het uitlichten van je content op Pinterest. Om die redenen accepteren we vertragingen tot en met 1, en worden hogere waarden als 1 beschouwd.  Heb je desondanks toch een langere crawlvertraging nodig? Neem dan contact met ons op.

Nog steeds hulp nodig?
Neem contact met ons op