Pinterests crawler

Vi opretter en database med millioner af pins på Pinterest for at hjælpe folk med at finde og gøre det, de er vilde med. Vi bruger webcrawlere til at identificere data på siderne bag vores pins for at beskytte vores brugere og levere indhold med den bedst mulige kvalitet.

De sider, vi finder, indeholder mange signaler, som vi bruger til at give bedre anbefalinger, bekæmpe spam og vise nyttige oplysninger. Vi henter, lagrer og behandler regelmæssigt sideindhold i forbindelse med pins for at udnytte disse signaler fuldt ud.

Sådan får Pinterest adgang til dit website

Når en ægte Pinterest-crawler besøger dit website, sender den en gyldig Pinterest-brugeragent og opretter forbindelse fra et netværk, som drives af Pinterest.

Pinterests crawler overholder Robots Exclusion Standard (robots.txt) og er desuden konfigureret til automatisk at begrænse antallet af samtidige anmodninger til dit website. Undlad at skrive præcise IP-netværksadresser i konfigurationen af dit website, eftersom de adresser, crawleren bruger, kan blive ændret uden varsel.

Pinterests brugeragent er:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)Mozilla/5.0 (Linux, Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

Pinterests IP-adresse er dynamisk og skifter ofte, men den vil altid ligge i intervallet 54.236.1.XXX.

Verificer Pinterests crawler

  1. Brug kommandoen host til at foretage et omvendt DNS-opslag af IP-adressen fra dine logfiler.
  2. Verificer, at domænenavnet i svaret slutter med pinterest.com.
  3. Brug kommandoen host til at foretage et almindeligt DNS-opslag ud fra det svar, der blev hentet i trin 1.
  4. Verificer, at det er den samme IP-adresse som i trin 1.

Kontakt os, hvis du modtager regelmæssig trafik fra en klient, der sender en gyldig Pinterest user-agent, men ikke består ovenstående DNS-test.

Begræns Pinterests adgang til dit website

Du kan ændre Pinterest-crawlerens adfærd ved at opdatere filen robots.txt på dit website. Du skal sørge for at placere filen robots.txt på dit hoveddomæne, eftersom vi ikke understøtter robots.txt-filer på underdomæner.

Store forsinkelser i crawling påvirker distributionen og anbefalingerne af dit indhold på Pinterest. Derfor respekterer vi forsinkelser op til 1, og vi behandler alle højere værdier som 1.  Hvis du anerkender dette, og du stadig har brug for større forsinkelser på crawl, skal du kontakte os.

Har du brug for mere hjælp?
Kontakt os