Om Pinterests crawler

Derfor bruger vi webcrawlere
Vi opretter en database med millioner af pins på Pinterest for at hjælpe folk med at finde og gøre det, de er vilde med. Vi bruger webcrawlere til at identificere dataene bag ved vores pins for at beskytte vores brugere og levere indhold med den størst mulige kvalitet.
De sider, vi finder, indeholder mange signaler, som vi bruger til at give bedre anbefalinger, bekæmpe spam og vise nyttige oplysninger. Det bidrager til at give pinnere og partnere en udbytterig, relevant og sikker oplevelse. Vi henter, lagrer og behandler regelmæssigt sideindhold i forbindelse med pins for at udnytte disse signaler fuldt ud.

Sådan får Pinterest adgang til dit website

Når Pinterests crawler besøger dit website, sender den et gyldigt brugeragentelement (User-Agent) fra Pinterest og opretter forbindelse fra et netværk, som drives af Pinterest. Pinterests crawler overholder Robots Exclusion Standard og er desuden konfigureret til automatisk at begrænse antallet af samtidige anmodninger til dit website for at mindske den ekstra belastning.

User-Agent:


Sådan kontrolleres Pinterests crawler
En ægte crawler fra Pinterest opretter forbindelse fra et netværk, som drives af Pinterest. Vi anbefaler, at webmastere undlader at skrive præcise IP-adresser i konfigurationen af deres website, eftersom de adresser, som crawleren bruger, kan blive ændret uden varsel.

Du kan kontrollere Pinterests crawler på denne måde:
Sådan kontrollerer du Pinterests crawler:
1. Brug host-kommandoen til at udføre et bagudrettet opslag på navneserveren med IP-adressen fra dine logfiler.
2. Kontrollér, at domænenavnet i svaret slutter med pinterest.com.
3. Brug host-kommandoen igen, denne gang til at udføre et fremadrettet opslag på navneserveren ud fra det svar, du modtog i trin 1.
4. Kontrollér, at IP-adressen er den samme som i trin 1.

Eksempel:

> host 54.236.1.11

11.1.236.54.in-addr.arpa domain name pointer crawl-54-236-1-11.pinterest.com.

> host crawl-54-236-1-11.pinterest.com

crawl-54-236-1-11.pinterest.com has address 54.236.1.11

Opret en supportanmodning, hvis du modtager regelmæssig trafik fra en klient, der sender et gyldigt Pinterest User-Agent-element, som ikke består ovenstående test ved hjælp af domænenavneserven.

Sådan forhindrer du Pinterest i at få adgang til dit website
Hvis du vil ændre Pinterest-crawlerens funktionsmåde, skal du opdatere filen robots.txt til dit website. Pinterest-crawleren retter sig efter følgende direktiver:

  • Disallow
  • Allow
  • Crawl-delay

Længere crawler-interval
Hvis du vil øge antallet af sekunder mellem besøg på dit website, kan du bruge direktivet Crawl-Delay.

Delay subsequent visits to 10 seconds apart
User-agent: Pinterest
Crawl-delay: 10

Bloker en enkelt fil
User-agent: Pinterest
Disallow: /fil.html

Bloker en enkelt mappe
User-agent: Pinterest
Disallow: /eksempel/

Bloker al adgang
User-agent: Pinterest
Disallow: /