Щоб користувачі легко знаходили те, що їх цікавить, і займалися улюбленою справою, ми невпинно збираємо на Pinterest мільйони корисних пінів. Щоб захистити наших користувачів і забезпечити найвищу якість контенту, ми використовуємо веб-сканери, що допомагають дослідити вміст сторінок, з якими пов’язані піни.
На основі певних ознак на цих сторінках ми можемо давати кращі рекомендації, показувати корисні дані та боротися зі спамом. Основною перевагою цих сигналів є те, що завдяки ним ми своєчасно отримуємо, зберігаємо та обробляємо вміст сторінок, пов’язаних із пінами.
Як Pinterest працює з вашим сайтом
Як сканер Pinterest перевіряє ваш веб-сайт? До нього підключається агент користувача Pinterest із нашої мережі.
Ми дотримуємося стандарту винятків для роботів (robots.txt), тому сканер Pinterest автоматично оцінює граничну кількість послідовних запитів до вашого веб-сайту. Не кодуйте жорстко ці мережеві IP-адреси в конфігурації сайту, оскільки використовувані сканером адреси можуть змінюватися без попередження.
Агент користувача Pinterest:
Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (сумісн.; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, як Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (сумісн.; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)IP-адреса Pinterest є динамічною та часто змінюється, але не виходить за межі діапазону 54.236.1.XXX.
Перевірка сканера Pinterest
- Скористайтеся командою host, щоб запустити зворотній пошук DNS для IP-адреси з ваших журналів.
- Отримане ім’я домену має закінчуватися на pinterest.com.
- Скористайтеся командою host, щоб запустити прямий пошук DNS для адреси, отриманої в кроці 1.
- Переконайтеся, що це та сама IP-адреса, для якої ви здійснювали зворотній пошук у кроці 1.
Якщо ви отримуєте значний об’єм трафіку від клієнта, пов’язаного з дійсним агентом користувача Pinterest, але описану перевірку цей клієнт не проходить, зв’яжіться з нами.
Як заборонити або обмежити доступ Pinterest до вашого сайту
Щоб змінити роботу сканера Pinterest, необхідно оновити для сайту файл robots.txt. Переконайтеся, що файл robots.txt знаходиться у вашому основному домені, оскільки ми не підтримуємо файли robots.txt у субдоменах.
Великі затримки сканування впливають на розповсюдження та рекомендації вашого вмісту на Pinterest. Тому ми враховуємо затримки до 1 і будемо розглядати більші значення як 1. Якщо ви визнаєте це і все ще потребуєте більшої затримки сканування, зв’яжіться з нами.
How Pinterest accesses your site
When a genuine Pinterest crawler visits your website, it will send a valid Pinterest User-Agent and connect from a network operated by Pinterest.
Pinterest crawler respects the Robots Exclusion Standard (robots.txt) and is configured to rate limit concurrent requests made to your site. Don't hard code these network's IP addresses in your site configuration, because the addresses that the crawler uses can change without notice.
Pinterest's user agent is:
Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)Pinterest's IP is dynamic and and changes frequently, but will always be in the range of: 54.236.1.XXX.
Verify the Pinterest crawler
- Use the host command to run a reverse DNS lookup on the IP address from your logs
- Verify that the domain name in the response ends with pinterest.com
- Use the host command to run a forward DNS lookup on the response retrieved from step 1
- Verify that it is the same as the IP address from step 1
If you receive a consistent volume of traffic from a client sending a valid Pinterest user-agent but it does not pass the above DNS test, please contact us.
Restrict or limit Pinterest from accessing your site
To modify the behavior of the Pinterest crawler, you'll need to update your site's robots.txt file. Make sure to place the robots.txt file on your main domain, because we do not support robots.txt files on subdomains.
Large crawl delays impact the distribution and recommendation of your content on Pinterest. Therefore, we honor delays of up to 1 and will treat any larger values as 1. If you acknowledge this and still need a larger crawl delay, contact us.