Pinterest crawler

Para matulungan ang mga tao na matuklasan at gawin ang kanilang gusto, gumagawa kami ng isang database na may bilyon-bilyong Pin sa Pinterest. Para maprotektahan ang aming mga user at magbigay ng pinakamataas na kalidad na content, gumagamit kami ng mga web crawler para matulungan kaming matukoy data sa mga page sa likod ng mga Pin.

Ang mga page na ito ay naglalaman ng mga rich signal na nagbibigay-daan sa aming bumuo ng mas magandang mga rekomendasyon, labanan ang spam at magpakita ng kapaki-pakinabang na impormasyon. Para masulit ang mga signal na ito, palagi kaming kumukuha, nagso-store at nagpoproseso ng content ng page na nauugnay sa mga Pin.

Paano ina-access ng Pinterest ang iyong site

Kapag ang isang tunay na Pinterest crawler ay bumisita sa iyong website, magpapadala ito ng Pinterest User-Agent at kokonekta mula sa isang network na pinapatakbo ng Pinterest.

Nirerespeto ng Pinterest crawler ang Robots Exclusion Standard (robots.txt) at naka-configure ito para i-rate ang limitasyon ng ginawang sabay-sabay na mga request sa iyong site. Huwag i-hard code ang mga IP address ng network na ito sa configuration ng iyong site, dahil ang mga address na ginagamit ng crawler ay puwedeng magbago nang walang abiso.

Ang Pinterest user agent ay:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, tulad ng Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)

Ang IP ng Pinterest ay dynamic at nagbabago madalas, pero palaging nasa hanay ng: 54.236.1.XXX.

I-verify ang Pinterest crawler

  1. Gamitin ang host command para magpatakbo ng isang reverse lookup ng DNS sa IP address mula sa iyong mga log
  2. I-verify na ang domain name sa pagtugon ay nagtatapos sa pinterest.com
  3. Gamitin ang host command para magpatakbo ng isang forward DNS lookup sa tugon na nakuha mula sa hakbang 1
  4. I-verify na ito ay kapareho ng IP address mula sa hakbang 1

Kung makakatanggap ka ng hindi nagbabagong dami ng traffic mula sa isang client na nagpapadala ng valid na Pinterest user-agent pero hindi ito pumapasa sa DNS test sa itaas, mangyaring kontakin kami.

Paghigpitan o limitahan ang Pinterest mula sa pag-access ng iyong site

Para baguhin ang pag-uugali ng Pinterest crawler, kakailanganin mong i-update ang robots.txt file ng iyong site. Siguruhin na ilagay ang robots.txt file sa iyong pangunahing domain, dahil hindi namin sinusuportahan ang mga robots.txt file sa mga subdomain.

Dine-delay ng malaking pag-crawl ang epekto sa distribusyon at rekomendasyon ng iyong content sa Pinterest. Kaya, iginagalang namin ang mga delay ng hanggang sa 1 at ituturing ang anumang mas malaking halaga bilang 1.  Kung tatanggapin mo ito at kailangan pa rin ng mas malaking delay ng pag-crawl, kontakin kami

Kailangan pa rin ng tulong?
Kontakin kami