Pinterest의 크롤러 소개

사람들이 원하는 삶을 만들어나갈 수 있는 아이디어를 제공하기 위해 Pinterest에서는 수십억 개의 핀 데이터베이스를 구축하고 있습니다. 저희는 사용자를 보호하고 가능한 한 최고 품질의 콘텐츠를 제공하기 위해 웹 크롤러를 사용하여 핀에 포함된 데이터를 확인하고 있습니다.

이러한 페이지에는 더 나은 추천 항목을 유추하고, 스팸을 차단하고, 유용한 정보를 표시할 수 있게 하는 신호가 풍부합니다. Pinterest는 이러한 도구를 최대한 활용하기 위해 주기적으로 핀 관련 페이지 콘텐츠를 가져와 저장하고 처리합니다.

Pinterest의 사용자 사이트 액세스 방법

Pinterest의 크롤러가 사용자 웹사이트에 방문할 경우, 유효한 Pinterest User-Agent를 보내 Pinterest가 운영하는 네트워크로부터 연결합니다. Pinterest의 크롤러는 로봇 배제 표준(Robots Exclusion Standard)에 따르는 것은 물론 추가 로드에 대한 부담을 줄이기 위해 웹사이트에 대한 동시 요청 속도를 자동으로 조절하도록 구성되어 있습니다.

웹마스터는 사이트 구성에서 이러한 IP 주소를 하드 코딩하지 않는 것이 좋은데, 그 이유는 나중에 통지 없이 크롤러가 사용하는 주소가 변경될 수도 있기 때문입니다.

Pinterest 사용자 ID

User-Agent: Pinterest/0.2 (+https://www.pinterest.com/bot.html)Mozilla/5.0 (호환; Pinterestbot/1.0; + https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36(KHTML, Gecko 등) Chrome/41.0.2272.96 Mobile Safari/537.36(호환 가능, Pinterestbot/1.0, + https://www.pinterest.com/bot.html)

Pinterest의 IP는 역동적이 고 따라서 끊임없이 변화, 하지만 항상의 범위에 있을 것 이다: 54.236.1.XXX.

Pinterest의 크롤러 소개

  1. 호스트 명령을 사용 하 여 로그에서 IP 주소에 역방향 DNS 조회를 실행
  2. 응답에 도메인 이름이 pinterest.com로 끝나는 확인
  3. 호스트 명령을 사용 하 여 1 단계에서 검색 응답에 정방향 DNS 조회를 실행
  4. 1 단계에서 IP 주소와 동일 인지 확인

유효한 Pinterest User-Agent를 보내는 클라이언트로부터 일정한 양의 트래픽을 받고 있지만 위의 DNS 테스트를 통과하지 않을 경우, 지원 티켓을 접수하시기 바랍니다.

귀하의 사이트에 액세스 하지 못하도록 Pinterest 제한

귀하의 사이트의 robots.txt를 업데이트 해야 Pinterest 크롤 러의 동작을 수정 하려면 파일을 업데이트해야 합니다. Pinterest의 크롤러는 다음 명령을 따릅니다.

  • Disallow
  • Allow
  • Crawl-delay
     
아직 도움이 필요하세요?
문의하기