Crawler Pinterest

Pour vous aider à découvrir et faire ce qui vous plaît le plus, nous créons une base de données contenant des milliards d'épingles sur Pinterest. Afin de préserver la sécurité de nos utilisateurs et d'offrir un contenu de bonne qualité, nous utilisons des robots d'indexation pour identifier les données sur les pages associées aux épingles.

Ces pages contiennent des signaux détaillés qui nous aident à développer nos suggestions, lutter contre le spam et afficher des informations utiles. Pour bien utiliser ces signaux, nous récupérons, conservons et traitons régulièrement le contenu de la page associée aux épingles.

Comment Pinterest accède à votre site

Lorsque le véritable crawler Pinterest visite votre site Web, il enverra un user-agent Pinterest valide et se connectera à partir d'un réseau qui est géré par Pinterest.

Le crawler Pinterest respecte le protocole d'exclusion des robots (robots.txt) et est configuré pour limiter automatiquement le taux de requêtes simultanées adressées à votre site Web. Veillez à ne pas coder ces adresses IP du réseau en dur dans la configuration de votre site, car les adresses utilisées par le crawler peuvent être modifiées sans préavis.

L'agent utilisateur Pinterest est :

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible ; Pinterestbot/1.0 ; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux ; Android 6.0.1 ; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible ; Pinterestbot/1.0 ; +https://www.pinterest.com/bot.html)

L'adresse IP de Pinterest est dynamique et change souvent, mais elle sera toujours incluse dans la plage 54.236.1.XXX.

Vérifier le crawler Pinterest

  1. Utilisez la commande host pour lancer une recherche DNS inversée sur l'adresse IP depuis vos dossiers
  2. Vérifiez que le domaine de la réponse se termine par pinterest.com.
  3. Utilisez la commande host pour lancer une recherche DNS non inversée sur la réponse récupérée de l'étape 1
  4. Vérifiez que l'adresse IP est la même que celle obtenue lors de l'étape 1

Si vous recevez un volume de trafic cohérent d'un client envoyant un user-agent Pinterest valide, mais que le test DNS précédent échoue, veuillez nous contacter.

Empêcher ou limiter l'accès de Pinterest à votre site

Pour modifier le comportement du crawler Pinterest, vous devrez mettre à jour le fichier robots.txt sur votre site. Veillez à placer le fichier robots.txt dans votre domaine principal, car nous ne prenons pas en charge les fichiers robots.txt dans les sous-domaines.

S'ils sont trop élevés, les paramètres Crawl-delay ont un impact sur la distribution et la recommandation de votre contenu sur Pinterest. Par conséquent, nous acceptons que ce paramètre soit inférieur ou égal à 1 et nous traiterons les valeurs supérieures comme si elles étaient égales à 1.  Si vous avez besoin d'un paramètre crawl-delay supérieur, contactez-nous.

Vous avez encore besoin d'aide ?
Nous contacter