Crawlerul Pinterest

Pentru a le oferi tuturor inspirația necesară pentru a avea viața pe care și-o doresc, creăm o bază de date cu miliardele de Pinuri de pe Pinterest. Pentru a ne proteja utilizatorii și a le oferi conținut de cea mai înaltă calitate, utilizăm crawlere web care ne ajută să identificăm datele paginilor din spatele fiecărui Pin.

Aceste pagini conțin semnale detaliate care ne permit să facem recomandări mai relevante, să combatem conținutul de tip spam și să afișăm informații utile. Regăsim, stocăm și procesăm constant conținutul paginilor asociate Pinurilor, pentru a profita din plin de aceste informații.

Cum accesează Pinterest site-ul tău

Când un crawler Pinterest original îți accesează site-ul, acesta va trimite un agent utilizator valid al Pinterest și se va conecta de la o rețea administrată de Pinterest. Pe lângă faptul că respectă Standardul pentru excluderea roboților, crawlerul Pinterest este configurat să limiteze automat solicitările concurente către site-ul tău în funcție de frecvență.

Recomandăm administratorilor web să nu introducă în configurația site-ului lor adrese IP specifice din această rețea, deoarece adresele utilizate de crawler se pot schimba fără notificare prealabilă.

Agentul utilizator al Pinterest este:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatibil; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatibil; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

IP-ul Pinterest este dinamic, deci se schimbă constant, însă va fi întotdeauna în intervalul: 54.236.1.XXX.

Verificarea crawlerului Pinterest

  1. Folosește comanda de gazdă pentru a rula o căutare DNS inversată la adresa IP din jurnalele tale
  2. Verifică dacă numele domeniului din răspuns se termină în pinterest.com
  3. Folosește comanda de gazdă pentru a rula o căutare DNS de redirecționare pentru răspunsul primit la pasul 1
  4. Verifică dacă este aceeași cu adresa IP de la pasul 1

Dacă primești un volum considerabil de trafic de la un client care trimite un agent utilizator valid Pinterest, însă care nu trece de testul DNS descris mai sus, te rugăm să înregistrezi o sesizare pentru asistență tehnică.

Restricționarea accesului Pinterest la site

Pentru a schimba comportamentul crawlerului Pinterest, va trebui să actualizezi fișierul robots.txt al site-ului. Crawlerul Pinterest ascultă următoarele comenzi:

  • Anulează permisiunea
  • Permite
  • Crawl-delay
     
Încă mai ai nevoie de asistență?
Contactează-ne