In questo articolo
  • Perché il crawler di Pinterest accede al tuo sito web
  • Come fa il crawler di Pinterest ad accedere al tuo sito web
  • Verifica del crawler di Pinterest
  • Impedisci o limita l'accesso di Pinterest al tuo sito
  • Stiamo creando un database contenente miliardi di Pin su Pinterest per aiutare le persone a scoprire e fare ciò che amano. Per proteggere le persone su Pinterest e fornire contenuti migliori, usiamo i crawler del web che ci permettono di identificare i dati delle pagine che sono dietro a ogni Pin.

    Queste pagine contengono informazioni dettagliate che ci permettono di trovare i suggerimenti migliori, combattere lo spam e mostrare informazioni utili. Per sfruttare al meglio queste indicazioni, recuperiamo, archiviamo ed elaboriamo regolarmente i contenuti delle pagine associate ai Pin.​

    Perché il crawler di Pinterest accede al tuo sito web

    Il crawler di Pinterest accede al tuo sito per tre motivi principali:

  • Per scaricare dal catalogo i file immagine di ciascun prodotto
  • Per raccogliere metadati dettagliati come il prezzo, la descrizione e la disponibilità dei tuoi prodotti
  • Per verificare che le persone possano visitarlo in tutta sicurezza
  • Come fa il crawler di Pinterest ad accedere al tuo sito web

    Quando un crawler di Pinterest autentico visita il tuo sito web, manderà un effettivo user-agent di Pinterest e si connetterà da un network operato da noi.

    Nel rispetto del protocollo di esclusione robot (robots.txt), il crawler di Pinterest è configurato per limitare le richieste simultanee ricevute dal tuo sito web. Non eseguire l'hard-coding degli indirizzi IP nella configurazione del sito web, in quanto gli indirizzi usati dal crawler potrebbero cambiare in futuro senza preavviso.

    Il nostro user-agent è:

    Pinterest/0.2 (+https://www.pinterest.com/bot.html)
    Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

    L'IP di Pinterest è dinamico e cambia spesso, tuttavia sarà sempre compreso nell'intervallo tra 54.236.1.001 e 54.236.1.255.

    Crawling geo-distribuito

    Il crawler di Pinterest esegue la scansione principalmente con indirizzi IP situati negli Stati Uniti. Possiamo eseguire il crawling anche con indirizzi IP situati al di fuori dagli Stati Uniti per supportare dati localizzati.

    Gli indirizzi IP con sede negli Stati Uniti rientrano sempre nell'intervallo di 54.236.1.XXX.

    Per gli indirizzi IP non situati negli Stati Uniti non c'è un intervallo fisso. Se temi che le persone accedano al tuo sito fingendo di essere il crawler di Pinterest, verifica la sua autenticità seguendo i passaggi indicati nella sezione successiva, piuttosto che affidarti a un controllo dell'intervallo dell'IP.

    Verifica del crawler di Pinterest
  • Usa il comando host per condurre una ricerca inversa del DNS sull'indirizzo IP dal tuo accesso
  • Verifica che il nome del dominio nella risposta finisca con pinterest.com o con pinterestcrawler.com
  • Usa il comando host per condurre una ricerca inversa del DNS sulla risposta recuperata dal passaggio numero uno
  • Verifica che l'indirizzo IP sia lo stesso del passaggio uno
  • Se ricevi un volume significativo di traffico da un client che invia uno user-agent di Pinterest valido, ma che non supera il test DNS precedente, contattaci.

    Impedisci o limita l'accesso di Pinterest al tuo sito

    Per modificare il comportamento del crawler di Pinterest, avrai bisogno di aggiornare il file robots.txt del tuo sito. Assicurati di caricare il file robots.txt nel dominio principale, perché non supportiamo i file robots.txt nei sottodomini.

    Un'eccessiva limitazione della frequenza di scansione (crawl delay) influisce sulla distribuzione e il suggerimento dei tuoi contenuti su Pinterest. Pertanto, il valore massimo di crawl delay consentito è 1 e tratteremo tutti i valori maggiori come 1. Se desideri un crawl delay maggiore, contattaci.

    user-agent: Pinterestbot
    Crawl-delay: 0.2
    user-agent: Pinterestbot
    disallow: /
    user-agent: Pinterestbot
    disallow: /directory1/
    user-agent: Pinterestbot
    disallow: /directory1/
    allow: /directory1/subdirectory1/
    user-agent: Pinterestbot
    disallow: /directory1/
    allow: /directory1/subdirectory1/
    crawl-delay: 0.2
    End of Other articles Links
    Hai ancora bisogno di aiuto? Contattaci
    User feedback
    Questo articolo ti è stato utile?

    collection_fields

    Come possiamo migliorare questo articolo?