We helpen mensen met het ontdekken en doen wat ze leuk vinden. Daarom maken we een database met miljarden pins op Pinterest. Om ervoor te zorgen dat mensen op Pinterest alleen de beste content te zien krijgen, maken we gebruik van webcrawlers om de gegevens op de websites waar pins naar verwijzen, te identificeren.
Deze pagina's bevatten waardevolle gegevens die we kunnen gebruiken om betere aanbevelingen te doen, spam te bestrijden en nuttige informatie te tonen. De websites waarnaar pins verwijzen, worden regelmatig opgehaald, opgeslagen en geanalyseerd, zodat deze gegevens optimaal worden benut.
De Pinterest-crawler bezoekt je website om de volgende drie voornaamste redenen:
Als een echte Pinterest-crawler je website bezoekt, gebeurt dit met een authentieke useragent van Pinterest, vanaf een netwerk dat door ons wordt beheerd.
De Pinterest-crawler volgt de Robots Exclusion Standard (robots.txt) en zorgt er ook voor dat er niet te veel gelijktijdige verzoeken naar je website worden gestuurd. Neem deze IP-adressen niet op in de configuratie van je website. De IP-adressen die de crawler gebruikt, kunnen in de toekomst zonder kennisgeving veranderen.
Onze useragent is:
Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Ons IP-adres is dynamisch en verandert dus voortdurend. Wel ligt het altijd tussen 54.236.1.001 en 54.236.1.255.
De Pinterest-crawler crawlt vooral met IP-adressen in de Verenigde Staten. We crawlen mogelijk ook met IP-adressen buiten de Verenigde Staten om gelokaliseerde gegevens te ondersteunen.
Onze IP-adressen in de VS liggen altijd binnen het bereik van: 54.236.1.XXX.
Voor IP-adressen buiten de VS is er geen vast bereik. Als je vreest dat mensen je website bezoeken terwijl ze zich voordoen als de Pinterest-crawler, controleer dan de authenticiteit door de stappen in de volgende sectie te volgen, in plaats van blind te vertrouwen op het IP-bereik.
Ontvang je een constante hoeveelheid verkeer van een client met een authentieke useragent van Pinterest, maar levert de bovenstaande DNS-test iets anders op?
Als je het gedrag van de Pinterest-crawler wilt aanpassen, moet je het bestand robots.txt van je website wijzigen. Zorg ervoor dat je het bestand robots.txt op het hoofddomein van je website plaatst. robots.txt-bestanden op subdomeinen worden niet ondersteund.
Een lange crawlvertraging heeft een negatieve invloed op de distributie en het uitlichten van je content op Pinterest. Om die reden accepteren we vertragingen tot en met 1, en worden hogere waarden als 1 beschouwd. Heb je een langere crawlvertraging nodig?
user-agent: Pinterestbot
Crawl-delay: 0.2
user-agent: Pinterestbot
disallow: /
user-agent: Pinterestbot
disallow: /directory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
crawl-delay: 0.2