À propos du crawler Pinterest

Pourquoi nous indexons les données
Pour vous aider à découvrir et faire ce qui vous plaît le plus, nous créons une base de données contenant des milliards d'épingles sur Pinterest. Afin de préserver la sécurité de nos utilisateurs et d'offrir un contenu de bonne qualité, nous utilisons des robots d'indexation pour identifier les données associées aux épingles.
Ces pages contiennent des signaux détaillés qui nous aident à développer nos suggestions, lutter contre le spam et afficher des informations utiles. Cela permet d'offrir à nos membres et partenaires une expérience riche, pertinente et sécurisée. Pour bien utiliser ces signaux, nous récupérons, conservons et traitons régulièrement le contenu des pages associées aux épingles.

Comment Pinterest accède à votre site

Lorsque le crawler Pinterest visite votre site Web, il enverra un user-agent Pinterest valide et se connectera à partir d'un réseau qui est géré par Pinterest. En plus de respecter le protocole d'exclusion des robots, le crawler Pinterest est configuré pour limiter automatiquement le taux de requêtes simultanées faites à votre site Web afin de réduire le poids d'une charge supplémentaire.

User-Agent :


Comment vérifier le crawler Pinterest.
Un véritable crawler Pinterest se connectera à partir d'un réseau qui est exploité par Pinterest. Nous encourageons les webmasters à éviter de coder en dur ces adresses IP dans la configuration de leurs sites Web, car les adresses utilisées par le crawler peuvent changer sans préavis.

Pour vérifier le crawler Pinterest suivez ces étapes :
Pour vérifier le crawler Pinterest :
1. Utilisation de la commande host, lancez une recherche DNS inversée de l'adresse IP de vos dossiers.
2. Vérifiez que le domaine de la réponse se termine par pinterest.com.
3. Encore une fois, en utilisant la commande host, effectuez une recherche DNS sur la réponse récupérée lors de l'étape 1.
4. Vérifiez que l'adresse IP est la même que celle obtenue lors de l'étape 1.

Exemple :

> host 54.236.1.11

11.1.236.54.in-addr.arpa nom de domaine pointeur crawl-54-236-1-11.pinterest.com.

> host crawl-54-236-1-11.pinterest.com

crawl-54-236-1-11.pinterest.com a l'adresse 54.236.1.11

Si vous recevez un volume de trafic cohérent d'un client envoyant un user-agent Pinterest valide, mais qui ne dépasse pas le test DNS précédent, veuillez ouvrir un ticket incident.

Comment limiter l'accès à votre site par Pinterest
Pour modifier le comportement du crawler Pinterest, vous devez mettre à jour le fichier robots.txt fichier. Le crawler Pinterest obéit aux directives suivantes :

  • Refuser
  • Autoriser
  • Crawl-delay

Réduire la vitesse d'exploitation
Si vous souhaitez augmenter le nombre de secondes d'attente entre les visites sur votre site, vous pouvez utiliser la directive Crawl-Delay.

Retarder les prochaines visites à 10 secondes
user-agent : Pinterest
Crawl delay : 10

Verrouiller un fichier
User-agent :Pinterest
Refuser : /file.html

Bloquer un répertoire
User-agent : Pinterest
Refuser : /exemple/

Bloquer tous les accès
User-agent : Pinterest
Refuser : /