Pinterest-crawler

We willen mensen inspireren met dingen die ze leuk vinden. Daarom maken we een database met miljarden pins op Pinterest. Om ervoor te zorgen dat onze gebruikers alleen de beste content te zien krijgen, maken we gebruik van webcrawlers om de gegevens op de websites waar pins naar verwijzen, te identificeren.

Deze websites bevatten gedetailleerde gegevens waarmee we betere aanbevelingen kunnen doen, spam kunnen voorkomen en nuttige informatie kunnen laten zien. Om deze gegevens ten volste te kunnen benutten, worden de websites waarnaar pins verwijzen regelmatig opgehaald, opgeslagen en geanalyseerd.

Hoe Pinterest je website bezoekt

Als een echte Pinterest-crawler je website bezoekt, gebeurt dit met een authentieke useragent van Pinterest, vanaf een netwerk dat door Pinterest wordt beheerd. Naast het naleven van de Robots Exclusion Standard zorgt de Pinterest-crawler er ook voor dat er niet te veel gelijktijdige verzoeken naar je website worden gestuurd.

We raden websitebeheerders af om de IP-adressen van deze netwerken in de configuratie van hun website te gebruiken, omdat de adressen van de crawler op elk moment kunnen wijzigen.

De useragent van Pinterest is:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

Het IP-adres van Pinterest is dynamisch en verandert dus voortdurend. Wel is het bereik altijd 54.236.1.XXX.

Controleren of een verzoek van de Pinterest-crawler komt

  1. Gebruik de opdracht 'host' om een reverse-DNS-lookup uit te voeren op het IP-adres uit je logbestanden
  2. Controleer dat de domeinnaam van het antwoord eindigt op pinterest.com
  3. Gebruik de opdracht 'host' om een forward-DNS-lookup uit te voeren op het antwoord uit stap 1
  4. Controleer of het IP-adres overeenkomt met dat uit stap 1

Ontvang je een constante hoeveelheid verkeer van een client met een geldige useragent van Pinterest, maar levert de bovenstaande DNS-test iets anders op? Neem dan contact op met ondersteuning.

Voorkomen dat Pinterest je website kan bezoeken

Als je het gedrag van de Pinterest-crawler wilt aanpassen, moet je het robots.txt-bestand van je website wijzigen. De Pinterest-crawler houdt zich aan de volgende opdrachten:

  • Disallow
  • Allow
  • Crawl-delay
     
Nog steeds hulp nodig?
Neem contact met ons op