Pinterest crawler

Para bigyang inspirasyon ang lahat para gawin ang buhay na gusto nila, gumagawa kami ng database ng bilyun-bilyong Pin sa Pinterest. Upang protektahan ang aming mga user at ibigay ang pinakamataas na kalidad ng content, ginagamit namin ang mga web crawler para tulungan kaming kilalanin ang data sa mga page sa likod ng mga Pin.

Ang mga page na ito ay naglalaman ng mga rich signal na nagbibigay-daan sa aming bumuo ng mas magandang mga rekomendasyon, labanan ang spam at magpakita ng kapaki-pakinabang na impormasyon. Para masulit ang mga signal na ito, palagi kaming kumukuha, nag-iistore at nagpoproseso ng nilalaman ng page na nauugnay sa mga Pin.

Paano ina-access ng Pinterest ang iyong site

Kapag ang isang tunay na Pinterest crawler ay bumisita sa iyong website, magpapadala ito ng Pinterest User-Agent at kumonekta mula sa isang network na pinamamahalaan ng Pinterest. Bilang paggalang sa Robots Exclusion Standard, ang Pinterest crawler ay isinaayos upang awtomatikong i-rate ang limit na mga kahilingan na ginawa sa iyong website.

Inirerekumenda namin na iwasan ng mga webmaster ang hard-coding ng mga IP address ng network sa pagsasaayos ng kanilang site, dahil maaaring mabago ang address na ginagamit ng crawler nang walang abiso.

Ang Pinterest user agent ay:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, tulad ng Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

Ang IP address ng Pinterest ay dynamic at sa gayon ay patuloy na nagbabago, ngunit palagi itong nasa hanay ng: 54.236.1.XXX.

I-verify ang Pinterest crawler

  1. Gamitin ang host command upang magpatakbo ng isang reverse lookup ng DNS sa IP address mula sa iyong mga log
  2. I-verify na ang domain name sa pagtugon ay nagtatapos sa pinterest.com
  3. Gamitin ang host command upang magpatakbo ng isang forward lookup ng DNS sa tugon na nakuha mula sa hakbang 1
  4. I-verify na ito ay kapareho ng IP address mula sa hakbang 1

Kung makakatanggap ka ng parehong dami ng traffic mula sa isang client na nagpapadala ng balidong Pinterest User-Agent pero hindi ito dumaraan sa DNS test na nasa itaas, mangyaring magbukas ng isang support ticket.

Limitahan ang Pinterest mula sa pag-access sa iyong site

Upang baguhin ang pag-uugali ng Pinterest crawler, kakailanganin mong i-update ang robots.txt ng iyong site. Sinusunod ng Pinterest crawler ang mga sumusunod na direktiba:

  • Huwag Payagan
  • Payagan
  • Crawl-delay
     
Kailangan pa rin ng tulong?
Kontakin kami