O prohledávacím modulu Pinterestu

Proč prohledáváme internet
Abychom pomohli lidem objevovat a dělat, co mají rádi, vytváříme na Pinterestu databázi milionů pinů. Za účelem ochrany uživatelů a zajištění nejvyšší kvality obsahu využíváme webové prohledávací moduly, které nám pomáhají identifikovat data, jež se skrývají za jednotlivými piny.
Tyto stránky obsahují doplňková data, která nám umožňují poskytovat lepší doporučení, bojovat se spamem a zobrazovat užitečné informace. Uživatelé i partneři Pinterestu si díky tomu mohou užívat pestrého, relevantního a bezpečného prostředí. Abychom tato data mohli využívat, pravidelně načítáme, ukládáme a zpracováváme obsah stránek propojených s piny.

Jak Pinterest přistupuje k vašemu webu

Prohledávací modul Pinterestu, který navštěvuje váš web, odesílá platnou hlavičku User-Agent a připojuje se ze sítě provozované Pinterestem. Kromě toho, že respektuje protokol pro zakázání přístupu robotům, je prohledávací modul Pinterestu nakonfigurován tak, aby automaticky omezoval počet souběžných požadavků na váš web a zbytečně tak nezatěžoval váš webový server.

Uživatel-agent:


Jak ověřit prohledávací modul Pinterestu
Náš „originální“ prohledávací modul se připojuje ze sítě provozované Pinterestem. Správcům webů doporučujeme, aby naše IP adresy do konfigurace nezapisovali napevno, neboť adresy, které prohledávací modul používá, se mohou v budoucnu bez předchozího oznámení změnit.

Prohledávací modul Pinterestu můžete ověřit následujícím způsobem:
Ověření prohledávacího modulu Pinterestu:
1. Pomocí příkazu „host“ odešlete reverzní dotaz na DNS obsahující IP adresu uvedenou v logu.
2. Ověřte, zda doménové jméno v odpovědi končí na „pinterest.com“.
3. Pomocí příkazu „host“ odešlete dotaz na DNS obsahující doménové jméno získané pomocí kroku č. 1.
4. Ověřte, zda se zobrazila stejná IP adresa jako ta, kterou jste použili v kroku č. 1.

Příklad:

> host 54.236.1.11

11.1.236.54.in-addr.arpa domain name pointer crawl-54-236-1-11.pinterest.com.

> host crawl-54-236-1-11.pinterest.com

crawl-54-236-1-11.pinterest.com has address 54.236.1.11

Pokud na váš web trvale směřuje velký provoz z klientu, který odesílá platnou hlavičku User-Agent používanou Pinterestem, ale používaná IP adresa neprojde úspěšně výše uvedeným DNS testem, vytvořte nový požadavek na podporu.

Jak zabránit Pinterestu, aby přistupoval k vašemu webu
Chcete-li upravit chování prohledávacího modulu Pinterestu, je třeba, abyste aktualizovali soubor robots.txt. Prohledávací modul Pinterestu dodržuje následující direktivy:

  • Disallow
  • Povolit
  • Crawl-delay

Snížení rychlosti prohledávání
Pokud byste chtěli prodloužit časový interval (v sekundách) mezi následnými návštěvami vašeho webu, můžete použít direktivu Crawl-Delay.

Delay subsequent visits to 10 seconds apart
User-agent: Pinterest
Crawl-delay: 10

Blokování přístupu k jednomu souboru
User-agent: Pinterest
Disallow: /file.html

Blokování přístupu k jednomu adresáři
User-agent: Pinterest
Disallow: /example/

Blokování veškerého přístupu
User-agent: Pinterest
Disallow: /