Stiamo creando un database contenente miliardi di Pin su Pinterest per aiutare le persone a scoprire e fare ciò che amano. Per proteggere le persone su Pinterest e fornire contenuti migliori, usiamo i crawler del web che ci permettono di identificare i dati delle pagine che sono dietro a ogni Pin.
Queste pagine contengono informazioni dettagliate che ci permettono di trovare i suggerimenti migliori, combattere lo spam e mostrare informazioni utili. Per sfruttare al meglio queste indicazioni, recuperiamo, archiviamo ed elaboriamo regolarmente i contenuti delle pagine associate ai Pin.
Il crawler di Pinterest accede al tuo sito per tre motivi principali:
Quando un crawler di Pinterest autentico visita il tuo sito web, manderà un effettivo user-agent di Pinterest e si connetterà da un network operato da noi.
Nel rispetto del protocollo di esclusione robot (robots.txt), il crawler di Pinterest è configurato per limitare le richieste simultanee ricevute dal tuo sito web. Non eseguire l'hard-coding degli indirizzi IP nella configurazione del sito web, in quanto gli indirizzi usati dal crawler potrebbero cambiare in futuro senza preavviso.
Il nostro user-agent è:
Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
L'IP di Pinterest è dinamico e cambia spesso, tuttavia sarà sempre compreso nell'intervallo tra 54.236.1.001 e 54.236.1.255.
Il crawler di Pinterest esegue la scansione principalmente con indirizzi IP situati negli Stati Uniti. Possiamo eseguire il crawling anche con indirizzi IP situati al di fuori dagli Stati Uniti per supportare dati localizzati.
Gli indirizzi IP con sede negli Stati Uniti rientrano sempre nell'intervallo di 54.236.1.XXX.
Per gli indirizzi IP non situati negli Stati Uniti non c'è un intervallo fisso. Se temi che le persone accedano al tuo sito fingendo di essere il crawler di Pinterest, verifica la sua autenticità seguendo i passaggi indicati nella sezione successiva, piuttosto che affidarti a un controllo dell'intervallo dell'IP.
Se ricevi un volume significativo di traffico da un client che invia uno user-agent di Pinterest valido, ma che non supera il test DNS precedente,
Per modificare il comportamento del crawler di Pinterest, avrai bisogno di aggiornare il file robots.txt del tuo sito. Assicurati di caricare il file robots.txt nel dominio principale, perché non supportiamo i file robots.txt nei sottodomini.
Un'eccessiva limitazione della frequenza di scansione (crawl delay) influisce sulla distribuzione e il suggerimento dei tuoi contenuti su Pinterest. Pertanto, il valore massimo di crawl delay consentito è 1 e tratteremo tutti i valori maggiori come 1. Se desideri un crawl delay maggiore,
user-agent: Pinterestbot
Crawl-delay: 0.2
user-agent: Pinterestbot
disallow: /
user-agent: Pinterestbot
disallow: /directory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
crawl-delay: 0.2