Tentang Crawler Pinterest

Mengapa kami menggunakan crawl
Untuk membantu orang-orang menemukan dan melakukan apa saja yang disukai, kami menciptakan database yang berisi miliaran Pin di Pinterest. Untuk memastikan bahwa kami melindungi para pengguna dan menyediakan konten berkualitas tertinggi dengan sebaik-baiknya, kami menggunakan web crawler untuk membantu mengidentifikasi data di belakang Pin.
Halaman ini berisi sinyal kuat yang memungkinkan kami untuk menyimpulkan rekomendasi lebih baik, melawan spam, dan menampilkan informasi yang bermanfaat. Ini membantu kami dalam menciptakan pengalaman terbaik, relevan, dan aman untuk para Pengepin dan Mitra. Untuk memperoleh manfaat penuh dari sinyal ini, kami secara teratur mengambil, menyimpan, dan memproses konten halaman yang terkait dengan Pin.

Cara Pinterest mengakses situs Anda

Saat crawler Pinterest mengunjungi situs web Anda, crawler akan mengirimkan Agen Pengguna Pinterest yang valid dan akan tersambung dari jaringan yang dioperasikan oleh Pinterest. Selain untuk menghargai Kriteria Larangan Robot, crawler Pinterest dikonfigurasikan agar secara otomatis membatasi laju permintaan simultan yang dibuat pada situs web Anda untuk mengurangi beban muatan tambahan.

User-Agent:


Cara memverifikasi Pinterest Crawler
Crawler Pinterest asli akan tersambung dari jaringan yang dioperasikan oleh Pinterest. Kami menyarankan agar webmaster menghindari pengkodean keras alamat IP ini dalam konfigurasi situs mereka karena alamat yang digunakan crawler dapat berubah di kemudian hari tanpa pemberitahuan.

Anda dapat menjalankan langkah ini untuk memverifikasi crawler Pinterest:
Untuk memverifikasi Crawler Pinterest:
1. Menggunakan perintah host, jalankan pencarian DNS mundur pada alamat IP dari log Anda.
2. Verifikasikan bahwa nama domain dalam responsnya berakhir dengan pinterest.com.
3. Menggunakan perintah host lagi, jalankan pencarian DNS maju dalam respons yang diambil dari langkah 1.
4. Verifikasikan bahwa ini sama dengan alamat IP dari langkah 1.

Contoh:

> host 54.236.1.11

11.1.236.54.in-addr.arpa domain name pointer crawl-54-236-1-11.pinterest.com.

> host crawl-54-236-1-11.pinterest.com

crawl-54-236-1-11.pinterest.com has address 54.236.1.11

Jika Anda menerima volume lalu lintas konsisten dari klien yang mengirimkan Agen-Pengguna Pinterest valid, namun tidak melewati uji DNS di atas, harap buka tiket dukungan.

Cara membatasi Pinterest mengakses situs Anda
Untuk memodifikasi perilaku crawler Pinterest, Anda perlu memperbarui file robot.txt . Crawler Pinterest mematuhi arahan berikut:

  • Disallow
  • Allow
  • Crawl-delay

Mengurangi Laju Crawl
Jika Anda ingin meningkatkan jumlah detik untuk menunggu antara kunjungan berikutnya ke situs Anda, Anda dapat menggunakan perintah Crawl-Delay.

Delay subsequent visits to 10 seconds apart
User-agent: Pinterest
Crawl-delay: 10

Blokir satu file
User-agent: Pinterest
Disallow: /file.html

Blokir satu direktori
User-agent: Pinterest
Disallow: /example/

Blokir semua akses
User-agent: Pinterest
Disallow: /