Ежедневно мы пополняем копилку с миллионами идей в Pinterest, помогая людям черпать вдохновение и творить, реализовывая себя. В целях защиты пользователей Pinterest и предоставления качественного содержимого мы применяем поисковых роботов, помогающих узнать, какая информация скрывается за теми или иными пинами. А чтобы пользователи могли легче воплощать идеи в жизнь, мы также сканируем контент, создавая товарные пины, связанные с сайтами продавцов и позволяющие быстро оформить покупку. Это помогает увеличить органический трафик, продажи и конверсии на этих сайтах с минимальными затратами усилий со стороны продавцов.
Благодаря анализу этой информации мы можем улучшать наши рекомендации и эффективно бороться со спамом. Чтобы анализ был эффективным, мы сохраняем и обрабатываем выборки данных со страниц, связанных с пинами.
Поисковый робот получает доступ к вашему сайту для выполнения трех основных функций. Это:
Зайдя на сайт, поисковый робот Pinterest отправляет действительный запрос от агента пользователя Pinterest и подключается из управляемой нами сети.
В соответствии со Стандартом исключений для роботов (robots.txt) конфигурация поискового робота Pinterest предусматривает ограничение параллельных запросов на сайт. Не задавайте в коде сайта конкретные значения, так как используемые роботом IP-адреса могут измениться без предварительного уведомления.
Наш агент пользователя:
Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (совместим; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X/MMB29P) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/41.0.2272.96 Safari/537.36 для мобильных платформ (совместим; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Мы используем динамический IP-адрес — он часто изменяется, но всегда находится в диапазоне от 54.236.1.001 до 54.236.1.255.
Поисковый робот Pinterest в основном обрабатывает IP-адреса на территории США. Мы также можем обрабатывать IP-адреса и за пределами США для поддержки локализации данных.
Для США IP-адреса всегда находятся в диапазоне 54.236.1.XXX.
IP-адреса на территории других государств не имеют фиксированного диапазона. Если вы волнуетесь, что другие люди могут получать доступ к вашему сайту, притворяясь поисковым роботом Pinterest, выполните шаги, приведенные в следующем разделе, и не полагайтесь на проверку диапазона IP-адресов.
Если вы обнаружили трафик, генерируемый действительным клиентским приложением агента пользователя Pinterest, которое не проходит описанный DNS-тест,
Управление поисковым роботом Pinterest производится с помощью изменения файла robots.txt. Убедитесь, что файл robots.txt размещен на вашем основном домене, поскольку мы не поддерживаем файлы robots.txt на поддоменах.
Длительные задержки влияют на распространение и рекомендации вашего контента на Pinterest. Поэтому мы принимаем задержки до 1, а любые значения больше 1 мы будем рассматривать как 1. Если вам нужна более длинная задержка,
user-agent: Pinterestbot
Crawl-delay: 0.2
user-agent: Pinterestbot
disallow: /
user-agent: Pinterestbot
disallow: /directory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
crawl-delay: 0.2