Crawler Pinterest

Pour vous aider à découvrir et faire ce qui vous plaît le plus, nous créons une base de données contenant des milliards d'épingles sur Pinterest. Afin de préserver la sécurité de nos utilisateurs et d'offrir un contenu de bonne qualité, nous utilisons des robots d'indexation pour identifier les données sur les pages associées aux épingles.

Ces pages contiennent des signaux détaillés qui nous aident à développer nos suggestions, lutter contre le spam et afficher des informations utiles. Pour bien utiliser ces signaux, nous récupérons, conservons et traitons régulièrement le contenu de la page associée aux épingles.

Comment Pinterest accède à votre site

Lorsque le véritable crawler Pinterest visite votre site Web, il enverra un user-agent Pinterest valide et se connectera à partir d'un réseau qui est géré par Pinterest. En plus de respecter le protocole d'exclusion des robots, le crawler Pinterest est configuré pour limiter automatiquement le taux de requêtes simultanées faites à votre site Web.

Nous encourageons les webmasters à éviter de coder en dur ces adresses IP du réseau dans la configuration de leurs sites Web, car les adresses utilisées par le crawler peuvent changer sans préavis.

Le user-agent Pinterest est :

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible ; Pinterestbot/1.0 ; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux ; Android 6.0.1 ; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

L'IP de Pinterest est dynamique, c'est-à-dire qu'elle change constamment, mais elle fera toujours partie de la plage : 54.236.1.XXX.

Vérifier le crawler Pinterest

  1. Utilisez la commande host pour lancer une recherche DNS inversée sur l'adresse IP depuis vos dossiers
  2. Vérifiez que le domaine de la réponse se termine par pinterest.com.
  3. Utilisez la commande host pour lancer une recherche DNS non inversée sur la réponse récupérée de l'étape 1
  4. Vérifiez que l'adresse IP est la même que celle obtenue lors de l'étape 1

Si vous recevez un volume de trafic cohérent d'un client envoyant un user-agent Pinterest valide, mais qui ne dépasse pas le test DNS précédent, veuillez ouvrir un ticket incident.

Restreindre l'accès de Pinterest à votre site

Pour modifier le comportement du crawler Pinterest, vous devrez mettre à jour le fichier robots.txt sur votre site. Le crawler Pinterest obéit aux directives suivantes :

  • Refuser
  • Autoriser
  • Crawl-delay
     
Vous avez encore besoin d'aide ?
Nous contacter