Crawler di Pinterest

Stiamo creando un database contenente miliardi di Pin su Pinterest per aiutare le persone a scoprire e fare ciò che amano. Per proteggere i nostri utenti e fornire il contenuto migliore, usiamo i crawler del web che ci permettono di identificare i dati delle pagine che sono dietro a ogni Pin.

Queste pagine contengono informazioni dettagliate che ci permettono di trovare i suggerimenti migliori, combattere lo spam e mostrare informazioni utili. Per sfruttare al meglio queste indicazioni, recuperiamo, archiviamo ed elaboriamo regolarmente i contenuti delle pagine associate ai Pin.

In che modo Pinterest accede al tuo sito

Quando un crawler di Pinterest autentico visita il tuo sito web, manderà un effettivo User-Agent di Pinterest e si connetterà da un network operato da Pinterest.

Nel rispetto del protocollo di esclusione robot (robots.txt), il crawler di Pinterest è configurato per limitare le richieste simultanee ricevute dal tuo sito web. Non eseguire l'hard-coding degli indirizzi IP di rete nella configurazione del sito, in quanto gli indirizzi usati dal crawler potrebbero cambiare in futuro senza preavviso.

Lo User-Agent di Pinterest é:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

L'IP di Pinterest è dinamico e cambia spesso, tuttavia sarà sempre compreso nell'intervallo 54.236.1.XXX.

Verifica del crawler di Pinterest

  1. Usa il comando host per condurre una ricerca inversa del DNS sull'indirizzo IP dal tuo accesso
  2. Verifica che il nome del dominio nella risposta finisca con pinterest.com
  3. Usa il comando host per condurre una ricerca inversa del DNS sulla risposta recuperata dal passaggio numero 1
  4. Verifica che l'indirizzo IP sia lo stesso del passaggio 1

Se ricevi un volume significativo di traffico da un client che invia uno user-agent di Pinterest valido, ma che non supera il test DNS precedente, contattaci.

Impedisci o limita l'accesso di Pinterest al tuo sito

Per modificare il comportamento del crawler di Pinterest, avrai bisogno di aggiornare il file robots.txt del tuo sito. Assicurati di caricare il file robots.txt nel dominio principale, perché non supportiamo i file robots.txt nei sottodomini.

Un'eccessiva limitazione della frequenza di scansione (crawl delay) influisce sulla distribuzione e il suggerimento dei tuoi contenuti su Pinterest. Pertanto, il valore massimo di crawl delay consentito è 1 e tratteremo tutti i valori maggiori come 1.  Se desideri comunque impostare un ritardo della scansione maggiore, contattaci.

Hai ancora bisogno di aiuto?
Contattaci