Crawler di Pinterest

Stiamo creando un database contenente miliardi di Pin su Pinterest per aiutare le persone a scoprire e fare ciò che amano. Per proteggere i nostri utenti e fornire il contenuto migliore, usiamo i crawler del web che ci permettono di identificare i dati delle pagine che sono dietro a ogni Pin

Queste pagine contengono informazioni dettagliate che ci permettono di trovare i suggerimenti migliori, combattere lo spam e mostrare informazioni utili. Per sfruttare al meglio queste indicazioni, recuperiamo, archiviamo ed elaboriamo regolarmente i contenuti delle pagine associate ai Pin.

In che modo Pinterest accede al tuo sito

Quando un crawler di Pinterest autentico visita il tuo sito web, manderà un effettivo User-Agent di Pinterest e si connetterà da un network operato da Pinterest. Inoltre, nel rispetto del Robots Exclusion Standard, il crawler di Pinterest è configurato per limitare automaticamente il limite di velocità delle richieste ricevute dal tuo sito web.

Si raccomanda che i webmaster evitino di usare questi indirizzi IP nella configurazione del sito, perché gli indirizzi usati dal crawler potrebbero cambiare senza preavviso.

Lo User-Agent di Pinterest é:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, ad esempio Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatibile; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

L'IP di Pinterest è dinamico e cambia spesso, tuttavia sarà sempre in un intervallo di: 54.236.1.XXX.

Verifica del crawler di Pinterest

  1. Usa il comando host per condurre una ricerca inversa del DNS sull'indirizzo IP dal tuo accesso
  2. Verifica che il nome del dominio nella risposta finisca con pinterest.com
  3. Usa il comando host per condurre una ricerca inversa del DNS sulla risposta recuperata dal passaggio numero 1
  4. Verifica che l'indirizzo IP sia lo stesso del passaggio 1

Se ricevi un volume significativo di traffico da un client che invia uno user-agent di Pinterest valido, ma che non supera il test DNS precedente, apri un ticket di assistenza.

Impedisci a Pinterest di accedere al tuo sito

Per modificare il comportamento del crawler di Pinterest, avrai bisogno di aggiornare il file robots.txt del tuo sito. Il crawler di Pinterest segue le seguenti istruzioni:

  • Disallow
  • Allow
  • Crawl-delay
     
Hai ancora bisogno di aiuto?
Contattaci