Untuk membantu orang menemukan dan melakukan hal yang mereka sukai, pengguna Pinterest telah membuat basis data berisi miliaran Pin di Pinterest. Untuk memastikan bahwa kami melindungi pengguna Pinterest dan menyediakan konten berkualitas tertinggi, kami menggunakan web crawler untuk membantu mengidentifikasi data pada halaman di balik Pin. Untuk membantu pengguna di Pinterest menindaklanjuti hal-hal yang menginspirasi mereka, kami juga melakukan crawling untuk membuat Pin produk yang dapat dibeli dan dipetakan balik ke situs web merchant. Tindakan ini dapat membantu mendorong peningkatan lalu lintas organik, penjualan, dan konversi ke situs web ini, dengan upaya minimal yang diperlukan di pihak merchant.
Halaman di balik Pin berisi sinyal kaya yang memungkinkan kami memberikan rekomendasi yang lebih baik, melawan spam, dan menampilkan informasi yang bermanfaat. Untuk memanfaatkan sinyal ini sepenuhnya, kami secara rutin mengambil, menyimpan, dan memproses konten halaman yang terkait dengan Pin.
Crawler Pinterest mengakses situs Anda karena tiga alasan utama berikut ini:
Saat crawler Pinterest asli mengunjungi situs web Anda, crawler akan mengirimkan agen pengguna Pinterest yang valid dan akan tersambung dari jaringan yang dioperasikan oleh Pinterest.
Crawler Pinterest mematuhi Standar Pengecualian Robot (robots.txt) dan dikonfigurasi untuk membatasi tingkat permintaan simultan yang dibuat pada situs Anda. Jangan memberikan pengodean keras pada alamat IP ini dalam konfigurasi situs Anda karena alamat yang digunakan crawler dapat berubah tanpa pemberitahuan.
Agen pengguna kami adalah:
Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
IP kami dinamis dan sering kali berubah, tetapi akan selalu berada di kisaran 54.236.1.001 hingga 54.236.1.255.
Crawler Pinterest terutama melakukan crawling dengan alamat IP yang berbasis di AS. Kami juga dapat melakukan crawling dengan alamat IP yang berbasis di luar AS untuk mendukung data yang dilokalkan.
Alamat IP yang berbasis di AS selalu berada dalam rentang: 54.236.1.XXX.
Untuk alamat IP yang tidak berbasis di AS, tidak ada rentang yang tetap. Jika Anda khawatir bahwa orang-orang mengakses situs Anda saat berpura-pura menjadi crawler Pinterest, verifikasi keasliannya dengan mengikuti langkah-langkah di bagian berikutnya, bukan mengandalkan pemeriksaan rentang IP.
Jika Anda menerima volume traffic konsisten dari klien yang mengirimkan agen pengguna Pinterest yang valid namun tidak lolos uji DNS di atas, harap
Untuk memodifikasi perilaku crawler Pinterest, Anda perlu memperbarui file robot.txt situs. Pastikan Anda memasukkan file robots.txt di domain utama karena kami tidak mendukung file robots.txt di subdomain.
Penundaan perayapan besar memengaruhi distribusi dan rekomendasi konten Anda di Pinterest. Karenanya, kami menggunakan nilai penundaan hingga sebesar 1 dan akan memperlakukan nilai yang lebih besar sebagai 1. Jika Anda membutuhkan penundaan perayapan yang lebih besar,
user-agent: Pinterestbot
Crawl-delay: 0.2
user-agent: Pinterestbot
disallow: /
user-agent: Pinterestbot
disallow: /directory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
crawl-delay: 0.2