Crawler di Pinterest

Stiamo creando un database contenente miliardi di Pin su Pinterest per aiutare le persone a scoprire e fare ciò che amano. Per proteggere i nostri utenti e fornire il contenuto migliore, usiamo i crawler del web che ci permettono di identificare i dati delle pagine che sono dietro a ogni Pin.

Queste pagine contengono informazioni dettagliate che ci permettono di trovare i suggerimenti migliori, combattere lo spam e mostrare informazioni utili. Per sfruttare al meglio queste indicazioni, recuperiamo, archiviamo ed elaboriamo regolarmente i contenuti delle pagine associate ai Pin.​

In che modo Pinterest accede al tuo sito

Quando un crawler di Pinterest autentico visita il tuo sito web, manderà un effettivo User-Agent di Pinterest e si connetterà da un network operato da Pinterest.

Nel rispetto del protocollo di esclusione robot (robots.txt), il crawler di Pinterest è configurato per limitare le richieste simultanee ricevute dal tuo sito web. Non eseguire l'hard-coding degli indirizzi IP nella configurazione del sito, in quanto gli indirizzi usati dal crawler potrebbero cambiare in futuro senza preavviso.

Lo User-Agent di Pinterest é:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

L'IP di Pinterest è dinamico e cambia spesso, tuttavia sarà sempre compreso nell'intervallo 54.236.1.XXX.

Crawling geo-distribuito

Il crawler di Pinterest esegue la scansione principalmente con indirizzi IP situati negli Stati Uniti. Possiamo eseguire il crawling anche con indirizzi IP situati al di fuori dagli Stati Uniti per supportare dati localizzati.

Gli indirizzi IP con sede negli Stati Uniti rientrano sempre nell'intervallo di 54.236.1.XXX.

Per gli indirizzi IP non situati negli Stati Uniti non c'è un intervallo fisso. Per verificare l'autenticità del crawler di Pinterest ti consigliamo di seguire preferibilmente i passaggi della sezione successiva anziché affidarti al controllo dell'intervallo dell'IP. Questa azione è utile se temi che degli spammer accedano al tuo sito fingendo di essere Pinterestbot.

Verifica del crawler di Pinterest

  1. Usa il comando host per condurre una ricerca inversa del DNS sull'indirizzo IP dal tuo accesso
  2. Verifica che il nome del dominio nella risposta finisca con pinterest.com o con pinterestcrawler.com
  3. Usa il comando host per condurre una ricerca inversa del DNS sulla risposta recuperata dal passaggio numero 1
  4. Verifica che l'indirizzo IP sia lo stesso del passaggio 1

Se ricevi un volume significativo di traffico da un client che invia uno user-agent di Pinterest valido, ma che non supera il test DNS precedente, contattaci.

Impedisci o limita l'accesso di Pinterest al tuo sito

Per modificare il comportamento del crawler di Pinterest, avrai bisogno di aggiornare il file robots.txt del tuo sito. Assicurati di caricare il file robots.txt nel dominio principale, perché non supportiamo i file robots.txt nei sottodomini.

Un'eccessiva limitazione della frequenza di scansione (crawl delay) influisce sulla distribuzione e il suggerimento dei tuoi contenuti su Pinterest. Pertanto, il valore massimo di crawl delay consentito è 1 e tratteremo tutti i valori maggiori come 1.  Se desideri comunque impostare un crawl delay maggiore, contattaci.

Hai ancora bisogno di aiuto?
Contattaci