Para ajudar as pessoas a descobrir e fazer o que mais gostam, os utilizadores do Pinterest criaram uma base de dados de milhões de Pins no Pinterest. Para protegermos os utilizadores no Pinterest e fornecermos os conteúdos com a maior qualidade possível, utilizamos Web crawlers para nos ajudar a identificar os dados das páginas relacionadas com os Pins. Para ajudar os utilizadores do Pinterest a agirem com base no que os inspira, também rastreamos para criar Pins de produtos para comprar, que remetem para os websites comerciantes. Isto pode contribuir para aumentar o tráfego orgânico, as vendas e as conversões nestes websites, com o mínimo de esforço necessário por parte dos comerciantes.
As páginas subjacentes aos Pins contêm sinais detalhados que nos permitem fazer melhores recomendações, combater spam e apresentar informação útil. Para aproveitares ao máximo estes sinais, recolhemos, armazenamos e processamos regularmente conteúdos de páginas associadas a Pins.
O crawler do Pinterest acede ao teu website por três razões principais:
Quando um crawler genuíno do Pinterest visita o teu website, este envia um agente de utilizador válido do Pinterest e liga-se a partir de uma rede operada por nós.
O crawler do Pinterest respeita o Protocolo de Exclusão de Robôs (robots.txt) e está configurado para limitar automaticamente a taxa de pedidos simultâneos feitos ao website. Não deves codificar estes endereços IP nas configurações do website, uma vez que os endereços que o crawler utiliza podem ser alterados sem aviso.
O nosso agente de utilizador é:
Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)O nosso IP é dinâmico e muda com frequência, mas estará sempre no intervalo de 54.236.1.001 a 54.236.1.255.
O crawler do Pinterest pesquisa principalmente endereços IP dos EUA. Também podemos pesquisar endereços IP fora dos EUA para suportar dados localizados.
Os endereços IP dos EUA estão sempre no intervalo de 54.236.1.XXX.
Para endereços IP fora dos EUA, não existe um intervalo fixo. Se achares que as pessoas estão a aceder ao teu website enquanto se fazem passar pelo crawler do Pinterest, verifica a sua autenticidade ao seguir os passos na secção seguinte, em vez de confiar numa verificação de intervalo IP.
Se recebes um volume consistente de tráfego de um cliente ao enviar um agente de utilizador do Pinterest válido, mas este não passa no teste DNS descrito acima,
Para alterares o comportamento do crawler do Pinterest, tens de atualizar o ficheiro robots.txt Deves colocar o ficheiro robots.txt file no teu domínio principal, porque não suportamos ficheiros robots.txt files em subdomínios.
Os grandes atrasos de pesquisa afetam a distribuição e a recomendação dos teus conteúdos no Pinterest. Por conseguinte, cumpriremos os atrasos até 1 e trataremos os valores acima de 1 como 1. Se precisas de um atraso de pesquisa superior,
user-agent: Pinterestbot
Crawl-delay: 0.2
user-agent: Pinterestbot
disallow: /
user-agent: Pinterestbot
disallow: /directory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
crawl-delay: 0.2