În încercarea de a-i ajuta pe utilizatori să descopere și să facă ceea ce le place, utilizatorii Pinterest au creat o bază de date cu miliardele de Pinuri de pe Pinterest. Pentru a ne proteja utilizatorii pe Pinterest și pentru a le oferi conținut de cea mai înaltă calitate, utilizăm crawlere web care ne ajută să identificăm datele paginilor din spatele fiecărui Pin. Pentru a-i ajuta pe utilizatorii Pinterest să acționeze în legătură cu ceea ce îi inspiră, de asemenea, am accesat cu crawlere pentru a crea Pinuri de produse care pot fi cumpărate și pe care să le trimitem înapoi către site-urile comercianților. Acest lucru poate contribui la creșterea traficului organic, a vânzărilor și a conversiilor către site-urile respective, fiind necesar un efort minim din partea comercianților.

Aceste pagini din spatele Pinurilor conțin semnale detaliate care ne permit să facem recomandări mai relevante, să combatem conținutul de tip spam și să afișăm informații utile. Regăsim, stocăm și procesăm constant conținutul paginilor asociate Pinurilor, pentru a utiliza în mod optim aceste semnale.​

Crawlerul Pinterest îți accesează site-ul din trei motive principale:

Când un crawler Pinterest original îți accesează site-ul, acesta va trimite un agent utilizator valid al Pinterest și se va conecta dintr-o rețea administrată de noi.

Crawlerul Pinterest respectă Standardul pentru excluderea roboților (robots.txt) și este configurat să limiteze solicitările concurente către site-ul tău. Nu introdu în configurația site-ului adrese IP specifice, deoarece adresele utilizate de crawler se pot schimba fără notificare prealabilă.

Agentul nostru utilizator este:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)

Mozilla/5.0 (compatibil; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, ca Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatibil; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

Adresa noastră IP este dinamică și se schimbă frecvent, însă va fi întotdeauna în intervalul 54.236.001 – 54.236.1.255.

Crawlerul Pinterest accesează cu crawlere folosind în principal adrese IP din SUA. De asemenea, este posibil să accesăm cu crawlere folosind adrese IP din afara SUA pentru a asigura compatibilitatea cu datele localizate.

Adresele IP din SUA sunt întotdeauna în intervalul 54.236.1.XXX.

Pentru adresele IP care nu sunt din SUA, nu există un interval fix. Dacă te preocupă faptul că utilizatorii îți accesează site-ul pretinzând a fi crawlerul Pinterest, verifică-i autenticitatea urmând pașii din secțiunea următoare în loc să te bazezi pe o verificare a intervalului de adrese IP.

Dacă primești un volum considerabil de trafic de la un client care trimite un agent utilizator valid Pinterest, dar care nu trece de testul DNS descris mai sus, te rugăm să ne contactezi.

Pentru a schimba comportamentul crawlerului Pinterest, va trebui să actualizezi fișierul robots.txt. Asigură-te că plasezi fișierul robots.txt în domeniul principal, deoarece nu acceptăm fișiere robots.txt în subdomenii.

Întârzierile mari ale accesării cu crawlere afectează distribuirea și recomandarea conținutului tău pe Pinterest. Așadar, onorăm întârzieri de până la 1 și vom trata orice valoare mai mare decât 1. Dacă ai nevoie de o întârziere mai mare a accesării cu crawlere, contactează-ne.