Content Signals v robots.txt: co smí AI s vaším obsahem a kdo to respektuje

Robots.txt vznikl v roce 1994 pro jediný účel: říct robotovi, kam smí a kam ne. Neřeší, co se s obsahem stane potom. Dokud byli hlavními návštěvníky vyhledávače, které za obsah platily návštěvností, nebyl to problém. V éře generativní AI, kdy jeden a tentýž robot může obsah zaindexovat, vložit do odpovědi chatbota i použít pro trénink modelu, začala tato „černobílá“ logika přestávat stačit.

Přesně na tuto mezeru míří Content Signals - iniciativa a stejnojmenná specifikace od společnosti Cloudflare, představená 24. září 2025. Rozšiřuje robots.txt o strojově čitelný slovník, kterým vyjádříte preferenci nikoli k přístupu, ale k použití obsahu.

Co Content Signals přesně řeší

Klasické robots.txt pracuje s direktivami Allow a Disallow. Ty rozhodují o tom, zda robot smí URL stáhnout. Nic víc. Pokud stažení povolíte, nemáte v souboru žádný nástroj, jak odlišit tři velmi rozdílné scénáře:

• obsah je zaindexován a ve výsledcích se zobrazí odkaz s krátkým úryvkem,
• obsah je v reálném čase načten do jazykového modelu, aby posloužil jako podklad pro odpověď,
• obsah se stane součástí trénovací sady pro nový model.

Z pohledu vydavatele mají tyto tři situace zcela jinou hodnotu. První mu přivádí návštěvníky, druhá může přivést citaci a menší část návštěvnosti, třetí typicky nepřináší zpět nic. Content Signals proto zavádí právě tři odpovídající kategorie.

Tři signály a jejich definice

Direktiva se zapisuje do bloku pravidel k danému User-Agent a nabývá hodnot yes (souhlas) nebo no (nesouhlas). Pokud signál vynecháte, nevyjadřujete žádnou preferenci - nesouhlas ani souhlas.

Signál	Význam podle specifikace	Typický zástupce
search	Budování vyhledávacího indexu a poskytování výsledků vyhledávání, tedy vracení odkazů a krátkých úryvků. Nezahrnuje generování AI souhrnů.	Googlebot, SeznamBot, Bingbot
ai-input	Vkládání obsahu do jednoho či více AI modelů, například retrieval augmented generation (RAG), grounding nebo jiné načtení obsahu v reálném čase pro generativní odpověď.	OAI-SearchBot, PerplexityBot, Claude-SearchBot
ai-train	Trénování nebo doladění (fine-tuning) AI modelů.	GPTBot, ClaudeBot, CCBot, Google-Extended

Klíčové je oddělení search od ai-input. Specifikace výslovně říká, že „search“ nezahrnuje generované AI souhrny. Právě zde vzniká celý spor kolem AI přehledů Googlu: z pohledu vydavatele jde o dvě různá použití, z pohledu Googlu o jeden nedělitelný produkt.

Jak vypadá zápis v robots.txt

Nejjednodušší varianta platí pro všechny roboty. Cloudflare ji doporučuje jako výchozí pro weby, které chtějí zůstat ve vyhledávačích, ale nechtějí být tréninkovými daty:

Generátor na contentsignals.org nabízí čtyři přednastavené politiky, které se liší mírou otevřenosti:

Politika	Zápis	Pro koho
Disallow All	Zákaz jakéhokoli použití bez písemného souhlasu	Uzavřené portály. Pozor: může vyřadit web i z Googlu.
Allow Search Only	search=yes, ai-input=no, ai-train=no	Vydavatelé žijící z návštěvnosti a reklamy
Allow Search & AI Input	search=yes, ai-input=yes, ai-train=no	Doporučeno pro většinu firem a e-shopů
Allow vše	search=yes, ai-input=yes, ai-train=yes	Maximální dosah, žádné omezení

Cílení na konkrétní roboty

Direktivu lze zapsat do bloku každého robota zvlášť. To dává smysl například tehdy, když chcete otevřít obsah vyhledávacím botům AI platforem, ale ne jejich trénovacím crawlerům:

Odlišná pravidla pro různé části webu

Specifikace umožňuje uvést cestu přímo v direktivě. Můžete tak například otevřít stránku „O nás“ úplně všemu, blog nechat pouze pro vyhledávání a klientskou sekci zavřít docela:

Zápis s cestou je oproti klasickému robots.txt nezvyklý a je jedním z důvodů, proč zatím nemá parsery. Standardní RFC 9309, které robots.txt formalizuje, cizí direktivy nezakazuje - v sekci 2.2.4 naopak výslovně připouští, že crawler smí zpracovat i jiné záznamy, než které norma definuje, a smí k nim být benevolentní. Zásadní je jiná věta téže sekce: parsování cizích záznamů nesmí zasáhnout do parsování direktiv, které norma definuje. Odtud plyne praktický závěr - Content-Signal vám robots.txt nerozbije, ale nikdo ho ani nevyhodnotí.

Právní rovina: výhrada práv podle článku 4

Content Signals nejsou jen technický zápis. Cloudflare k nim dodává komentářový blok, který se do robots.txt vkládá jako lidsky čitelná smluvní podmínka. Ta stanovuje, že přístupem na web návštěvník souhlasí s dodržováním uvedených signálů, a končí formulací, že jakákoli omezení vyjádřená prostřednictvím Content Signals představují výslovnou výhradu práv podle článku 4 směrnice EU 2019/790 o autorském právu na jednotném digitálním trhu.

To je pro evropské a české weby podstatnější než technická podpora. Článek 4 zavádí výjimku pro automatizovanou analýzu textů a dat (text and data mining) a zároveň umožňuje nositelům práv toto použití vyloučit - ovšem u obsahu zpřístupněného online pouze strojově čitelným způsobem. Do českého práva byla směrnice promítnuta zákonem č. 429/2022 Sb., kterým se novelizoval autorský zákon č. 121/2000 Sb.

Věta v robots.txt je tedy jedním z mála běžně dostupných způsobů, jak takovou výhradu vůbec vyjádřit. Cloudflare sám ovšem upozorňuje, že soud či regulátor může dojít k závěru, že robots.txt nezakládá vymahatelné právní povinnosti. Jde o indicii, nikoli o jistotu - a rozhodně to není náhrada za právní konzultaci.

Které crawlery a vyhledávače zápis podporují

Toto je nejdůležitější část článku a zároveň ta nejméně příjemná. K září 2026 se žádný velký provozovatel crawleru nebo jazykového modelu veřejně nezavázal direktivu Content-Signal vyhodnocovat. Dobrá zpráva přišla 15. září 2026 z jiné strany: Google, Apple a další se u Cloudflare zavázali respektovat zákaz tréninku - jen ne přes Content-Signal, ale přes vlastní tokeny. Podrobně to rozebírám v kapitole o změnách z 15. září.

Nejjasněji se vyjádřil Google. John Mueller v červenci 2026 uvedl, že mu není znám žádný crawler ani LLM, který by direktivu používal, a doplnil, že nepodporované položky jen zvyšují nároky na údržbu souboru robots.txt. Server Search Engine Roundtable to shrnul titulkem, že direktiva nemá žádný efekt. Stejné stanovisko Google zastává i vůči souboru llms.txt.

Je proto potřeba důsledně oddělit dvě věci: co robot dodržuje z klasického robots.txt a zda navíc čte Content-Signal. První sloupec je dobrá zpráva, druhý zatím ne.

Provozovatel / robot	Respektuje robots.txt	Vyhodnocuje Content-Signal	Co reálně funguje místo toho
Google - Googlebot	Ano	Ne (potvrzeno 7/2026)	Disallow, nosnippet, max-snippet, data-nosnippet
Google - Google-Extended	Ano	Ne	Samostatný token pro trénink a grounding Gemini
Microsoft - Bingbot	Ano	Ne	Disallow, meta nocache a noarchive pro Copilot
OpenAI - GPTBot, OAI-SearchBot	Ano	Ne	Oddělené user-agenty pro trénink a vyhledávání
OpenAI - ChatGPT-User	Částečně	Ne	Jde o načtení vyvolané uživatelem, pravidla se liší
Anthropic - ClaudeBot, Claude-SearchBot, Claude-User	Ano (i Crawl-delay)	Ne	Oddělené user-agenty pro trénink, vyhledávání a načtení vyvolané uživatelem
Perplexity - PerplexityBot, Perplexity-User	Deklarováno, zpochybněno	Ne	Blokace na úrovni WAF, ověřování podle IP rozsahů
Apple - Applebot, Applebot-Extended	Ano	Ne	Applebot-Extended jako opt-out z tréninku
Meta - Meta-ExternalAgent	Ano	Ne	Disallow na konkrétní user-agent
Common Crawl - CCBot	Ano	Ne	Disallow (nepřímo omezí desítky modelů)
Seznam.cz - SeznamBot	Ano (robots.txt 2.0)	Ne	Disallow, podpora regulárních výrazů
Neznámí a maskovaní roboti	Ne	Ne	Pouze blokace na úrovni serveru, WAF nebo CDN

Přehled zachycuje stav v září 2026. Provozovatelé své crawlery a pravidla průběžně mění, proto doporučuji ověřovat aktuální dokumentaci konkrétní platformy.

Proč velké firmy váhají

Důvod není jen lenost. Podpora signálu ai-input by pro Google znamenala přiznat, že AI přehledy jsou jiný produkt než klasické vyhledávání - což dlouhodobě odmítá. Pro OpenAI či Anthropic by zase znamenala potvrdit, že jejich vyhledávací roboti dělají něco jiného než indexaci.

Druhým důvodem je fragmentace. Vedle Content Signals soupeří o stejné místo RSL (Really Simple Licensing) spuštěné 10. září 2025, které jde dál a přidává do robots.txt přímo licenční a royalty podmínky včetně modelů pay-per-crawl a pay-per-inference. Paralelně běží standardizace v IETF pracovní skupině AIPREF, která připravuje hlavičku Content-Usage a odpovídající pravidlo v robots.txt. Provozovatelé crawlerů logicky čekají, který ze tří přístupů se stane skutečným standardem.

Jaká je reálná adopce

Na straně vydavatelů je situace opačná - nasazení roste, protože je téměř zdarma. Cloudflare při spuštění v září 2025 přidal výchozí politiku search=yes, ai-train=no automaticky do spravovaného robots.txt u 3,8 milionu domén. Signál ai-input záměrně nechal prázdný, protože podle něj v této oblasti zatím neexistuje shoda.

To znamená, že řada webů má Content Signals nasazené, aniž o tom jejich majitelé vědí. Pokud web běží na Cloudflare, doporučuji si soubor robots.txt zkontrolovat.

Data o blokování AI botů ukazují, že vydavatelé postupují spíše selektivně než plošně. Podle analýzy více než 4 200 souborů robots.txt z konce července 2026 patřily mezi nejblokovanější trénovací crawlery GPTBot (633 domén), CCBot (567 domén) a ClaudeBot (563 domén). Podíl odpovědí HTTP 403 na požadavky AI botů dosáhl v červenci 2026 zhruba 9,6 % a v posledním týdnu měsíce vystoupal na 12,9 %, tedy více než dvojnásobek oproti roku 2025.

Pro srovnání: podle citovaných průzkumů blokuje trénovací AI boty asi 79 % velkých zpravodajských webů, ale pouze 14 % vydavatelů blokuje AI boty úplně všechny. To dobře ilustruje, o co většině z nich jde - nechtějí zmizet z AI odpovědí, chtějí jen nebýt zdarma tréninkovými daty.

Novinka z července 2026: parametr use a tři kategorie botů

Cloudflare specifikaci 1. července 2026 rozšířil. Vedle původních tří signálů přibyl volitelný parametr use, který popisuje, jak hluboko smí systém s obsahem pracovat:

• use=immediate - interakce s obsahem bez jeho ukládání,
• use=reference - indexace, úryvek a zpětný odkaz (výchozí hodnota),
• use=full - souhrn a reprodukce obsahu.

Zákazníkům se spravovaným robots.txt Cloudflare doplnil use=reference automaticky. Zároveň přestal pracovat s jednou obecnou kategorií „AI boti“ a rozdělil je na tři: Search (sbírá a indexuje obsah, aby o něm později odpovídal), Agent (jedná v reálném čase jménem konkrétního člověka) a Training (sbírá obsah pro trénink modelů).

Co se změnilo 15. září 2026: Accountable crawlery a Disallow AI Training

V předchozí verzi tohoto článku jsem varoval, že od 15. září 2026 mohou být na Cloudflare blokováni i víceúčeloví roboti Googlebot, Bingbot a Applebot, a že to může nepozorovaně poškodit organickou viditelnost. Cloudflare přesně tenhle problém 15. září adresoval. V příspěvku s výmluvným názvem Have it both ways: stay discoverable in search while disallowing AI training představil nové chování, které dilema „buď trénink, nebo vyhledávání“ rozděluje na dvě samostatné otázky.

Čtyři chování místo jednoho přepínače

Původní nastavení Block AI bots je od 15. září 2026 ukončeno. Nahradily ho samostatné politiky pro tři kategorie botů (Search, Agent, Training) a u každé z nich si vyberete jedno ze čtyř chování:

• Allow - nic se neblokuje,
• Disallow AI Training - robot smí web indexovat pro vyhledávání, ale nesmí na něm trénovat,
• Block on pages with ads - blokace jen na stránkách, kde Cloudflare automaticky detekuje reklamu,
• Block - blokace na celém webu.

Nastavení najdete v sekci Security → Configure AI bot policies. Každá volba se vztahuje na ověřené roboty dané kategorie a navíc na neověřené roboty s podobným chováním.

Jak Disallow AI Training funguje

Klíčové je, že u víceúčelových crawlerů Cloudflare neblokuje nic na síťové úrovni. Místo toho zapíše do robots.txt zákaz pro trénovací identitu daného provozovatele, kterou si Google i Apple zavedli už dříve:

Googlebot i Applebot web dál procházejí a indexují, ale Google a Apple se zavázali, že obsah takto označených webů nepoužijí pro trénink svých modelů - a že tento zákaz nemá vliv na pozice ve vyhledávání. Bing zatím vlastní token v robots.txt nemá a opírá se o meta značku NOARCHIVE; podle Cloudflare Microsoft mechanismus pro robots.txt teprve staví, s cílem začátku roku 2027.

Provozovatelé, kteří mají trénovací a vyhledávací roboty oddělené - OpenAI, Anthropic, Meta a Amazon - žádný takový obchvat nepotřebují. Jejich trénovací crawler (GPTBot, ClaudeBot, Meta-ExternalAgent, Amazonbot) Cloudflare při volbě Disallow AI Training blokuje přímo, protože to vyhledávání nijak neovlivní. Stejně tak blokuje každý další trénovací crawler, jehož provozovatel k žádnému závazku nepřistoupil.

Technicky to zajišťuje nová služba Bot Preference Sync, která nahrazuje dosavadní Managed robots.txt. Preferenci nastavíte jednou na Cloudflare a ten ji přeloží do podoby, kterou konkrétní provozovatel čte. Zákazníci se spravovaným robots.txt jsou na nový systém převáděni automaticky.

Kdo je „Accountable“

Cloudflare zavedl pojem Accountable crawler operator. Aby se provozovatel kvalifikoval, musí nabídnout:

1. mechanismus, jak trénink odmítnout - přes robots.txt nebo srovnatelný standard,
2. mechanismus, jak odmítnout AI souhrny - dnes přímo u provozovatele, od příštího roku i přes Cloudflare,
3. přehled na úrovni jednotlivých URL, které stránky byly zpřístupněny pro trénink, spolu s metrikami, jak se obsah objevil ve vyhledávání,
4. záruku, že odmítnutí tréninku neovlivní klasické výsledky vyhledávání.

K 15. září 2026 tyto podmínky splňují Apple, Microsoft, Google, Amazon, Anthropic, Meta a OpenAI. Cloudflare Radar bude veřejně sledovat, jaké kontroly, transparentnost a reporting jednotliví provozovatelé skutečně poskytují. Za povšimnutí stojí, kdo na seznamu není - například Perplexity nebo Common Crawl.

Pozor: Block teď zastaví i Googlebot

Nová logika má i druhou stranu. Volby Block a Block on pages with ads se nově vztahují i na víceúčelové crawlery. Pokud u kategorie Training zvolíte Block, Cloudflare zastaví Applebot, Bingbot i Googlebot - včetně vyhledávání. Cloudflare to říká výslovně: kdo chce víceúčelové crawlery pryč úplně, musí to výslovně zvolit. Pro naprostou většinu webů je správná volba Disallow AI Training, nikoli Block. Kompletní postup nastavení včetně doporučení pro různé typy webů a přehledu crawlerů najdete v samostatném článku Nastavení AI botů v Cloudflare: průvodce pro SEO a GEO.

Nové výchozí nastavení

Pro nově přidané domény platí doporučené výchozí hodnoty podle toho, zda web zobrazuje reklamu:

Kategorie	Web bez reklamy	Web s reklamou
Search	Allow	Allow
Training	Allow	Disallow AI Training
Agent	Allow	Block on pages with ads

Stávající domény se na nový systém převádějí podle svého dosavadního nastavení. Právě proto doporučuji každému webu za Cloudflare nastavení po migraci zkontrolovat - ne kvůli tomu, že by se něco rozbilo automaticky, ale protože se změnil význam jednotlivých voleb.

Co to znamená pro Content Signals

Tady je pointa pro téma tohoto článku. V celém zářijovém oznámení direktiva Content-Signal nefiguruje. Praktické řízení tréninku Cloudflare postavil na tokenech jednotlivých provozovatelů (Google-Extended, Applebot-Extended, NOARCHIVE) a jako budoucí společný jazyk zmiňuje standard ai-prefs z IETF, nikoli vlastní Content Signals.

Můj výklad: Cloudflare pochopil, že univerzální signál, který nikdo nečte, je slabší než sada konkrétních závazků, které dokáže vynutit a měřit. Content Signals tím neztrácejí smysl jako strojově čitelná výhrada práv - ale jako nástroj, kterým skutečně ovlivníte chování Googlu nebo Applu, jsou dnes podstatně užitečnější Google-Extended a Applebot-Extended. Přesně to za vás nová volba Disallow AI Training dělá.

Ještě jedno číslo, které v oznámení zaznělo: méně než 1 % webů na Cloudflare blokuje vyhledávací roboty, zatímco blokaci tréninku má zapnutých 17 %. Potvrzuje to, co ukazovala i data z července - vydavatelé nechtějí z vyhledávání ani z AI odpovědí zmizet, jen nechtějí být zdarma tréninkovou sadou.

Souvisí to s tím, na co jsem upozorňoval v článku AI boti mají HTTP 200. To ale ještě neznamená, že opravdu vidí váš obsah - mezi tím, co si myslíte, že jste nastavili, a tím, co robot skutečně dostane, bývá překvapivě velký rozdíl.

Content Signals versus cíle GEO

Tady je potřeba být upřímný. Většina mých klientů se dnes snaží o pravý opak toho, k čemu Content Signals vznikly. Chtějí být v AI odpovědích vidět, chtějí být citováni a chtějí odtud návštěvnost. Obor GEO (Generative Engine Optimization) stojí na tom, že AI systém obsah najde, pochopí a použije.

Z toho plyne jednoduché doporučení: signál ai-input obvykle nechcete nastavit na „no“. Odmítnutím vkládání obsahu do modelu v reálném čase byste odmítali přesně tu část AI ekosystému, která vám vrací návštěvnost. Data reportu Adobe, která jsem rozebíral v článku AI návštěvnost e-shopů roste o 393 %, ukazují, že tato návštěvnost konvertuje o 42 % lépe než ostatní zdroje. Zavírat před ní dveře nedává pro e-shop ani firemní web ekonomický smysl.

Naopak ai-train=no je pro většinu komerčních webů rozumná výchozí volba. Neplyne z něj žádné riziko pro viditelnost a představuje aspoň formální výhradu práv.

Typ webu	Doporučené nastavení	Proč
E-shop	search=yes, ai-input=yes, ai-train=no	Chce být v AI doporučeních produktů, netěží z tréninku
Firemní web a služby	search=yes, ai-input=yes, ai-train=no	Citace v AI odpovědi je nový kanál poptávek
Zpravodajství a magazín	search=yes, ai-input=no, ai-train=no	Model financovaný reklamou, AI souhrn nahrazuje návštěvu
Placený a členský obsah	Disallow + blokace na úrovni serveru	Deklarace nestačí, je nutné technické vynucení
Dokumentace a znalostní báze	search=yes, ai-input=yes, ai-train=yes	Cílem je maximální rozšíření znalosti o produktu

Co Content Signals rozhodně neumí

• Nezabrání stažení obsahu. Jde o preferenci, nikoli o technické opatření.
• Neblokují nic samy o sobě. Blokace se dělá direktivou Disallow, pravidly WAF nebo bot managementem.
• Nezaručují právní vymahatelnost. Sám Cloudflare uvádí, že soudy mohou dojít k závěru, že robots.txt povinnosti nezakládá.
• Nezastaví roboty, kteří robots.txt ignorují. Ti jej nečtou už dnes.
• Nenahradí strukturovaná data ani kvalitní obsah. O tom, zda vás AI cituje, rozhoduje srozumitelnost a úplnost obsahu, ne direktiva.

Platí tedy jednoduché pravidlo: deklarace a vynucení jsou dvě různé vrstvy. Content Signals patří do první, firewall a bot management do druhé. Kdo očekává, že řádek v robots.txt zastaví scraping, bude zklamán. Technickou stránku připravenosti webu pro roboty a agenty rozebírám podrobněji v článku Jak připravit web pro AI agenty.

Praktický postup nasazení

1. Zkontrolujte současný stav. Otevřete vasedomena.cz/robots.txt a podívejte se, zda tam už direktiva Content-Signal není - Cloudflare ji mohl doplnit automaticky.
2. Rozhodněte o strategii. Odpovězte si, zda chcete být v AI odpovědích vidět. Pokud ano, ai-input nechte na yes nebo prázdné.
3. Vygenerujte zápis. Použijte generátor na contentsignals.org nebo si direktivu napište ručně.
4. Vložte i právní komentář. Bez něj přicházíte o hlavní přínos - výhradu práv podle článku 4.
5. Nesahejte na signál search. Nastavení search=no nikdy nepoužívejte na webu, který chce být ve vyhledávačích.
6. Ověřte, že soubor zůstal validní. V Google Search Console zkontrolujte report robots.txt, případně otestujte na platformě, kde je robots.txt omezený, zda se zápis vůbec propsal.
7. Doplňte reálné blokace. Trénovací crawlery, které opravdu nechcete, zakažte direktivou Disallow na jejich user-agent.
8. Nastavte vynucení. U citlivého obsahu přidejte pravidla na úrovni WAF nebo CDN.
9. Zkontrolujte nastavení Cloudflare po migraci z 15. září 2026. V sekci Security → Configure AI bot policies zvolte u kategorie Training Disallow AI Training, nikoli Block - jinak přijdete o Googlebot včetně vyhledávání.
10. Sledujte logy. Bez analýzy serverových logů nezjistíte, kdo na web skutečně chodí a co dostává.

Závěr: levná pojistka, žádný zázrak

Content Signals jsou dobře navržený a srozumitelný pokus vyřešit reálný problém - robots.txt rozhoduje o přístupu, ale mlčí o použití. Zápis je triviální, náklady nulové a v evropském kontextu má díky výhradě práv podle článku 4 smysl i přesto, že jej zatím nikdo strojově nevyhodnocuje.

Zároveň je ale potřeba mít realistická očekávání. K září 2026 direktiva nemění chování žádného významného crawleru - a sám Cloudflare při řešení víceúčelových crawlerů sáhl po tokenech Google-Extended a Applebot-Extended, ne po Content-Signal. Pokud si od ní slibujete ochranu obsahu, sáhněte po blokaci na síťové úrovni. Pokud si od ní slibujete lepší viditelnost v AI, sáhněte po kvalitním a strukturovaném obsahu.

Osobně ji doporučuji nasadit ve variantě search=yes, ai-input=yes, ai-train=no - stojí to pět minut, nic nerozbije, vyjadřuje jasné stanovisko a pokud se standard prosadí, budete připraveni. Rozhodně bych ale kolem ní nestavěl obsahovou strategii. Ta se dnes rozhoduje jinde: v tom, jak srozumitelně a úplně web odpovídá na otázky uživatelů.

Zdroje

• Content Signals - oficiální stránka specifikace a generátor
• Cloudflare Blog: Giving users choice with Cloudflare's new Content Signals Policy (24. 9. 2025)
• Cloudflare Blog: Your site, your rules - new AI traffic options (červenec 2026)
• Cloudflare Blog: Have it both ways - stay discoverable in search while disallowing AI training (15. 9. 2026)
• Cloudflare Docs: Block AI bots - politiky pro kategorie Search, Agent a Training
• Cloudflare Changelog: New options to manage AI traffic (1. 7. 2026)
• Search Engine Roundtable: Google Says Cloudflare Content Signals Robots.txt Directive Has No Effects Whatsoever
• IETF: Setting standards for AI preferences (pracovní skupina AIPREF)
• RSL: Really Simple Licensing - konkurenční licenční standard
• RFC 9309: Robots Exclusion Protocol
• Směrnice EU 2019/790, článek 4 (výhrada k text and data mining)
• Nápověda Seznam.cz: Robots.txt a řízení procházení
• Analýza robots.txt a blokování AI crawlerů (červenec 2026)
• AI boti mají HTTP 200. To ale ještě neznamená, že opravdu vidí váš obsah
• Jak připravit web pro AI agenty
• AI návštěvnost e-shopů roste o 393 %

Článek popisuje stav k 16. září 2026. Oblast se rychle vyvíjí, proto před nasazením ověřte aktuální dokumentaci Cloudflare i jednotlivých provozovatelů crawlerů. Text nepředstavuje právní poradenství - k otázkám výhrady autorských práv konzultujte advokáta.