# robots.txt fotodoconline.ru
#
# 🔴 ПОЧЕМУ ЗДЕСЬ НЕТ ГРУПП ПОД GPTBot, ClaudeBot, PerplexityBot И ПРОЧИХ.
# Они и так разрешены группой `User-agent: *` ниже — отдельная группа НИЧЕГО не
# меняет, зато ломается молча: по RFC 9309 §2.2.1 краулер исполняет РОВНО ОДНУ,
# самую специфичную группу, поэтому `User-agent: GPTBot` + `Allow: /` вывел бы
# бота из-под звёздочной группы ВМЕСТЕ со всеми её `Disallow` и открыл ему
# /admin, /api/ и /order/. Чтобы этого не было, пришлось бы дублировать список
# запретов в каждую группу и держать десяток копий в синхроне — навсегда.
# Замер 18–27.08 (прод-лог, только наши пути): из 90 содержательных страниц
# ChatGPT-User, GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и Applebot
# обошли РОВНО НОЛЬ. Для сравнения: Amazonbot 77, YandexBot 54, Googlebot 35.
# То есть платить сложностью сегодня не за что. Разрешение живёт в `*`.
#
# Группы ниже — исключение и другой класс: это НЕ краулеры, а рубильники
# согласия. Своего обхода у них нет (страницы берёт основной бот), запрещать им
# нечего, дублировать нечего — поэтому и синхронить нечего. Стоят явно, чтобы
# согласие пережило смену умолчаний у вендора.

# Использование контента в ответах Gemini.
User-agent: Google-Extended
Allow: /

# Использование контента в Apple Intelligence.
User-agent: Applebot-Extended
Allow: /

# То же у Яндекса (yandex.ru/support/webmaster/robot-workings/yandex-ai.html).
# Для русскоязычного сервиса это важнейший из трёх: основной поток — Яндекс.
User-agent: YandexAdditionalBot
Allow: /

User-agent: YandexAdditional
Allow: /

# --- Все остальные, включая AI-краулеры ---
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin
Disallow: /order/
Disallow: /order-status
Disallow: /capture
Disallow: /static/vendor/

# Метки, не меняющие содержимое страницы. Для Яндекса это ОСНОВНОЙ механизм
# склейки: rel=canonical он уважает слабее, чем Clean-param.
#
# Замер прод-лога 02.09 (access.log + access.log.1, окно ~1.5 сут), YandexBot:
# 3509 запросов, из них 2756 (78.5%) — адреса с query, 1360 уникальных
# параметрических URL против 61 чистого. То есть четыре обхода из пяти уходили
# в клоны. Метки в запросах робота: etext 2722, ybaip 2667, yclid 515,
# draft_id 26; ходил и по главной (2520), и по SEO-страницам, все ответы 200.
#
# etext / ybaip / ysclid ставит сам Яндекс на переходе (etext приезжает и
# вместе с yclid Директа — замер 27.08: 7675 из 8123). draft_id наш: возврат
# с гида камеры /capture. yclid ОСТАЁТСЯ в списке, но из адреса не вычищается
# фронтом — на нём держится атрибуция Директа в Метрике.
Clean-param: paid&src&doc&utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&_openstat&etext&ybaip&ysclid&draft_id
Sitemap: https://fotodoconline.ru/sitemap.xml