- Robots.txt řídí přístup crawlerů k webu pomocí direktiv User-agent, Disallow a Allow, ale jde pouze o doporučení, které škodliví boti mohou ignorovat.
- Zablokování stránky v robots.txt nezabrání její indexaci — pokud na ni vedou zpětné odkazy, Google ji může indexovat i bez procházení.
- Pro skutečné vyloučení z indexu je nutný noindex meta tag.
Robots.txt je jednoduchý textový soubor umístěný v kořenovém adresáři webu (example.com/robots.txt), který obsahuje instrukce pro vyhledávací roboty (crawlery). Definuje, které části webu smí robot procházet a které ne. Jde o jeden ze základních prvků technického SEO.
Syntaxe a direktivy
Soubor robots.txt používá jednoduchou syntaxi s několika klíčovými direktivami:
| Direktiva | Funkce | Příklad |
|---|---|---|
| User-agent | Určuje, pro jakého robota pravidla platí | User-agent: Googlebot |
| Disallow | Blokuje přístup k cestě | Disallow: /admin/ |
| Allow | Povoluje přístup k cestě (přepisuje Disallow) | Allow: /admin/public/ |
| Sitemap | Odkazuje na XML sitemap | Sitemap: https://example.com/sitemap.xml |
| Crawl-delay | Nastavuje prodlevu mezi požadavky (ne Google) | Crawl-delay: 10 |
| * (wildcard) | Platí pro všechny roboty / cesty | User-agent: * |
Robots.txt je pouze doporučení, nikoli bezpečnostní opatření. Seriózní vyhledávače (Google, Bing) jej respektují, ale škodliví boti ho mohou ignorovat. Pro skutečné zabezpečení obsahu použijte autentizaci nebo server-side blokování.
Nejčastější chyby v robots.txt
- Blokace důležitého obsahu — nechtěné zablokování CSS, JS nebo obrázků, které Google potřebuje k vykreslení stránky
- Blokace celého webu —
Disallow: /pro všechny roboty znemožní indexaci - Chybné umístění — soubor musí být v kořenovém adresáři domény, ne v podsložce
- Záměna s noindex — robots.txt neodstraní stránku z indexu, pouze zabrání jejímu procházení
- Chybějící Sitemap direktiva — vynechání odkazu na XML sitemap
Jak Google interpretuje robots txt
Google respektuje direktivy User-agent, Disallow a Allow. Nepodporuje Crawl-delay — rychlost procházení nastavíte v Google Search Console. Důležité je, že blokace stránky v robots.txt nezabrání její indexaci — pokud na ni vedou zpětné odkazy, Google ji může indexovat i bez procházení. Pro vyloučení z indexu použijte noindex meta tag.
Testovat soubor robots.txt můžete přímo v Google Search Console pomocí nástroje pro testování robots.txt.
Často kladené otázky
Musí mít každý web soubor robots.txt?
Není to povinné, ale je to doporučené. Bez robots.txt vyhledávače předpokládají, že mohou procházet celý web. Soubor je užitečný pro řízení crawlování a odkazování na XML sitemap.
Odstraní Disallow stránku z výsledků vyhledávání?
Ne. Disallow zabrání procházení, ale stránka může zůstat v indexu, pokud na ni vedou zpětné odkazy. Pro odstranění z indexu použijte noindex meta tag nebo nástroj pro odstranění URL v Google Search Console.
Jak rychle Google zareaguje na změny v robots.txt?
Google cachuje robots.txt a aktualizuje ho obvykle jednou za 24 hodin. Změny se tedy neprojeví okamžitě. V urgentních případech můžete vynutit opětovné načtení prostřednictvím Google Search Console.
Chcete podobné výsledky?
Pomůžu vám s online marketingem a SEO. Ozvěte se mi a probereme to.
