Щоб люди легко знаходили те, що їх цікавить, і займались улюбленою справою, користувачі Pinterest створили базу даних з мільярдів пінів на Pinterest. З метою захисту користувачів Pinterest і забезпечення найвищої якості контенту ми застосовуємо вебсканери, що допомагають дослідити вміст сторінок, з якими пов’язані піни. Сканування також дає нам змогу створювати товарні піни з можливістю покупки та перенаправляти користувачів на вебсайти продавців. Таким чином, знайшовши щось цікаве, людина має можливість одразу перейти до конкретних дій. Це може допомогти збільшити органічний трафік, продажі та конверсії на цих вебсайтах з мінімальними зусиллями з боку продавців.
Сторінки, пов'язані з пінами, містять сигнали, які дають нам змогу надавати кращі рекомендації, боротися зі спамом і показувати корисну інформацію. Щоб повною мірою скористатися цими сигналами, ми регулярно отримуємо, зберігаємо та обробляємо вміст сторінок, пов'язаних з пінами.
Сканер Pinterest отримує доступ до вашого сайту в кількох цілях. Ось вони:
Як сканер Pinterest перевіряє ваш сайт? До нього підключається агент користувача Pinterest із нашої мережі.
Ми дотримуємося стандарту винятків для роботів (robots.txt), тому сканер Pinterest автоматично оцінює граничну кількість послідовних запитів до вашого вебсайту. Не виконуйте жорстке кодування цих IP-адрес у конфігурації сайту, оскільки використовувані сканером адреси можуть змінюватися без попередження.
Наш агент користувача:
Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (сумісн.; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, як Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (сумісн.; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Наша IP-адреса є динамічною та часто змінюється, але не виходить за межі діапазону від 54.236.1.001 до 54.236.1.255.
Сканер Pinterest переважно обробляє IP-адреси на території США. Ми також можемо обробляти IP-адреси за межами США для підтримки локалізації даних.
IP-адреси на території США завжди перебувають у діапазоні 54.236.1.XXX.
IP-адреси на території інших держав не мають фіксованого діапазону. Якщо ви хвилюєтеся, що люди зможуть отримати доступ до вашого сайту, видаючи себе за сканер Pinterest, перевірте його автентичність, виконавши кроки з наступного розділу замість перевірки діапазону IP-адрес.
Якщо ви отримуєте значний об’єм трафіку від клієнта, пов’язаного з дійсним агентом користувача Pinterest, але описану перевірку цей клієнт не проходить,
Щоб змінити роботу сканера Pinterest, необхідно оновити для сайту файл robots.txt. Переконайтеся, що файл robots.txt знаходиться у вашому основному домені, оскільки ми не підтримуємо файли robots.txt у субдоменах.
Великі затримки сканування впливають на розповсюдження та рекомендації вашого вмісту на Pinterest. Ми приймаємо затримки до 1 і розглядаємо вищі значення як такі, що не перевищують 1. Якщо потрібна більша затримка сканування,
user-agent: Pinterestbot
Crawl-delay: 0.2
user-agent: Pinterestbot
disallow: /
user-agent: Pinterestbot
disallow: /directory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
crawl-delay: 0.2