Crawlerul Pinterest

În încercarea noastră de a-i ajuta pe utilizatori să descopere și să facă ceea ce le place, creăm o bază de date cu miliardele de Pinuri de pe Pinterest. Pentru a ne proteja utilizatorii și a le oferi conținut de cea mai înaltă calitate, utilizăm crawlere web care ne ajută să identificăm datele paginilor din spatele fiecărui Pin.

Aceste pagini conțin semnale detaliate care ne permit să facem recomandări mai relevante, să combatem conținutul de tip spam și să afișăm informații utile. Regăsim, stocăm și procesăm constant conținutul paginilor asociate Pinurilor, pentru a profita din plin de aceste informații.

Cum accesează Pinterest site-ul tău

Când un crawler Pinterest original îți accesează site-ul, acesta va trimite un agent utilizator valid al Pinterest și se va conecta de la o rețea administrată de Pinterest.

Crawlerul Pinterest respectă Standardul pentru excluderea roboților (robots.txt) și este configurat să limiteze solicitările concurente către site-ul tău. Nu introdu în configurația site-ului adrese IP specifice din această rețea, deoarece adresele utilizate de crawler se pot schimba fără notificare prealabilă.

Agentul utilizator al Pinterest este:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatibil; Pinterestbot/1.0; +https://www.pinterest.com/bot.html) Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, ca Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatibil; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

IP-ul Pinterest este dinamic și se schimbă adeseori, însă va fi întotdeauna în intervalul: 54.236.1.XXX.

Verificarea crawlerului Pinterest

  1. Folosește comanda de gazdă pentru a rula o căutare DNS inversată la adresa IP din jurnalele tale
  2. Verifică dacă numele domeniului din răspuns se termină în pinterest.com
  3. Folosește comanda de gazdă pentru a rula o căutare DNS de redirecționare pentru răspunsul primit la pasul 1
  4. Verifică dacă este aceeași cu adresa IP de la pasul 1

Dacă primești un volum considerabil de trafic de la un client care trimite un agent utilizator valid Pinterest, dar care nu trece de testul DNS descris mai sus, te rugăm să ne contactezi.

Restricționarea sau limitarea accesului Pinterest la site

Pentru a schimba comportamentul crawlerului Pinterest, va trebui să actualizezi fișierul robots.txt. Asigură-te că plasezi fișierul robots.txt în domeniul principal, deoarece nu acceptăm fișiere robots.txt în subdomenii.

Întârzierile mari ale accesării cu crawlere afectează distribuirea și recomandarea conținutului tău pe Pinterest. Așadar, onorăm întârzieri de până la 1 și vom trata orice valoare mai mare decât 1.  În cazul în care confirmi acest lucru și ai nevoie în continuare de o întârziere mai mare a accesării cu crawlere, contactează-ne .

Încă mai ai nevoie de asistență?
Contactează-ne