In dit artikel
  • Waarom de Pinterest-crawler je website bezoekt
  • Hoe de Pinterest-crawler je website bezoekt
  • Controleren of een verzoek van de Pinterest-crawler komt
  • Voorkomen of beperken dat Pinterest je website kan bezoeken
  • We helpen mensen met het ontdekken en doen wat ze leuk vinden. Daarom maken we een database met miljarden pins op Pinterest. Om ervoor te zorgen dat mensen op Pinterest alleen de beste content te zien krijgen, maken we gebruik van webcrawlers om de gegevens op de websites waar pins naar verwijzen, te identificeren.

    Deze pagina's bevatten waardevolle gegevens die we kunnen gebruiken om betere aanbevelingen te doen, spam te bestrijden en nuttige informatie te tonen. De websites waarnaar pins verwijzen, worden regelmatig opgehaald, opgeslagen en geanalyseerd, zodat deze gegevens optimaal worden benut.​

    Waarom de Pinterest-crawler je website bezoekt

    De Pinterest-crawler bezoekt je website om de volgende drie voornaamste redenen:

  • Om de afbeeldingsbestanden voor elk product in je catalogus te downloaden
  • Om uitgebreide metagegevens te verzamelen, zoals de prijs, beschrijving en beschikbaarheid van je producten
  • Om te controleren of je website veilig te bezoeken is
  • Hoe de Pinterest-crawler je website bezoekt

    Als een echte Pinterest-crawler je website bezoekt, gebeurt dit met een authentieke useragent van Pinterest, vanaf een netwerk dat door ons wordt beheerd.

    De Pinterest-crawler volgt de Robots Exclusion Standard (robots.txt) en zorgt er ook voor dat er niet te veel gelijktijdige verzoeken naar je website worden gestuurd. Neem deze IP-adressen niet op in de configuratie van je website. De IP-adressen die de crawler gebruikt, kunnen in de toekomst zonder kennisgeving veranderen.

    Onze useragent is:

    Pinterest/0.2 (+https://www.pinterest.com/bot.html)
    Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

    Ons IP-adres is dynamisch en verandert dus voortdurend. Wel ligt het altijd tussen 54.236.1.001 en 54.236.1.255.

    Geo-gedistribueerd crawlen

    De Pinterest-crawler crawlt vooral met IP-adressen in de Verenigde Staten. We crawlen mogelijk ook met IP-adressen buiten de Verenigde Staten om gelokaliseerde gegevens te ondersteunen.

    Onze IP-adressen in de VS liggen altijd binnen het bereik van: 54.236.1.XXX.

    Voor IP-adressen buiten de VS is er geen vast bereik. Als je vreest dat mensen je website bezoeken terwijl ze zich voordoen als de Pinterest-crawler, controleer dan de authenticiteit door de stappen in de volgende sectie te volgen, in plaats van blind te vertrouwen op het IP-bereik.

    Controleren of een verzoek van de Pinterest-crawler komt
  • Gebruik de opdracht 'host' om een reverse-DNS-lookup uit te voeren op het IP-adres uit je logbestanden
  • Controleer of de domeinnaam van het antwoord eindigt op pinterest.com of pinterestcrawler.com
  • Gebruik de opdracht 'host' om een forward-DNS-lookup uit te voeren op het antwoord uit stap 1
  • Controleer of het IP-adres overeenkomt met dat uit stap 1
  • Ontvang je een constante hoeveelheid verkeer van een client met een authentieke useragent van Pinterest, maar levert de bovenstaande DNS-test iets anders op? Neem dan contact met ons op.

    Voorkomen of beperken dat Pinterest je website kan bezoeken

    Als je het gedrag van de Pinterest-crawler wilt aanpassen, moet je het bestand robots.txt van je website wijzigen. Zorg ervoor dat je het bestand robots.txt op het hoofddomein van je website plaatst. robots.txt-bestanden op subdomeinen worden niet ondersteund.

    Een lange crawlvertraging heeft een negatieve invloed op de distributie en het uitlichten van je content op Pinterest. Om die reden accepteren we vertragingen tot en met 1, en worden hogere waarden als 1 beschouwd. Heb je een langere crawlvertraging nodig? Neem dan contact met ons op.

    user-agent: Pinterestbot
    Crawl-delay: 0.2
    user-agent: Pinterestbot
    disallow: /
    user-agent: Pinterestbot
    disallow: /directory1/
    user-agent: Pinterestbot
    disallow: /directory1/
    allow: /directory1/subdirectory1/
    user-agent: Pinterestbot
    disallow: /directory1/
    allow: /directory1/subdirectory1/
    crawl-delay: 0.2
    End of Other articles Links
    Nog steeds hulp nodig? Neem contact met ons op
    User feedback
    Was dit artikel nuttig?

    collection_fields

    Hoe kunnen we dit artikel verbeteren?