Pinterest クローラ

ユーザーが自分のテイストに合うアイデアを見つけて試せるように、Pinterest は何十億ものピンが含まれるデータベースを構築しています。また、できるだけ安全で質の良いコンテンツを利用してもらえるよう、Pinterest はウェブクローラを使ってページにあるピンの詳細データをチェックしています。

このようなページから得られる多くのシグナルを読み取って、Pinterest はユーザーの好みに合うおすすめをしたり、スパム対策をしたり、役立つ情報を表示したりできるのです。このようなシグナルをフル活用するために、Pinterest ではピンに関連付けられているページのコンテンツを定期的に取得、保存、処理しています。

Pinterest があなたのサイトにアクセスする方法

Pinterest クローラは、あなたのウェブサイトを巡回する際、有効な Pinterest User-Agent を送信し、Pinterest が管理するネットワークからサイトに接続します。

Pinterest クローラは robots.txt の Robots Exclusion Standard(ロボット排除規約)を尊重するほか、あなたのサイトにおける同時リクエスト数を制限するように設定されています。クローラが使用するアドレスは通告なく変更する可能性がありますので、サイト設定でネットワークの IP アドレスを指定しないでください。

Pinterest のユーザーエージェント:

Pinterest/0.2(+https://www.pinterest.com/bot.html)
Mozilla/5.0(互換:Pinterestbot/1.0、+https://www.pinterest.com/bot.html)
Mozilla/5.0(Linux; Android 6.0.1、Nexus 5X Build/MMB29P)AppleWebKit/537.36(KHTML - 例 Gecko)Chrome/41.0.2272.96 Mobile Safari/537.36(互換:Pinterestbot/1.0、+https://www.pinterest.com/bot.html)

Pinterest は動的 IP アドレスなのでいつも同じ IP アドレスではありませんが、54.236.1.XXX の範囲になります。

Pinterest クローラを確認する

  1. host コマンドを使用して、ログに記録された IP アドレスから DNS 逆引きを実行します
  2. レスポンスのドメイン名の末尾が pinterest.com であることを確認します
  3. 再度 host コマンドを使用して、手順 1 で逆引きしたレスポンスに対し DNS 正引きを実行します
  4. レスポンスが手順 1 で入力した IP アドレスと同一であることを確認します

有効な Pinterest user-agent を送信しているクライアントから一定量のトラフィックを受信しているにもかかわらず上記の DNS テストで正しいレスポンスが返らない場合にはお問わせください

Pinterest クローラのアクセスを制限する

Pinterest クローラの動作を制御するには、あなたのサイトの robots.txt ファイルを更新する必要があります。サブドメインへの robots.txt 配置には対応していないため、robots.txt ファイルは必ずメインドメインに置いてください。

クローラの遅延を大きく設定すると、Pinterest のコンテンツの配信とおすすめに影響を及ぼします。従って、遅延は最大 1 に設定され、それ以上の値もすべて 1 として扱います。この点をご理解の上で、クローラの遅延を 1 より大きく設定したい場合は、お問い合わせください

ヘルプが必要ですか?
お問い合わせはこちら