# Единая политика обхода для всех роботов. # # /_next/static НЕ закрыт намеренно: там лежат JS и CSS, и без них Google не # отрендерит страницу — закрыв их, мы сделали бы себе то же, от чего лечим # клиентские листинги. # # Директивы Host здесь нет: Яндекс отменил её в 2018 году, зеркало определяется # редиректом и canonical. User-agent: * # Служебные ответы бэкенда — не страницы. Disallow: /api/ # Оптимизатор картинок: на страницах десятки адресов вида # /_next/image?url=…&w=3840&q=75, и каждый из них краулер считает отдельным URL. Disallow: /_next/image # Превентивно: страниц входа и кабинета на лендинге сейчас нет, но появление # любой из них не должно молча открыть их обходу. Disallow: /login Disallow: /register Disallow: /account/ Disallow: /cabinet/ Allow: / Content-Usage: train-ai=y, ai-use=y, search=y Content-Signal: search=yes, ai-input=yes, ai-train=yes # AI-краулеры — явно и поимённо. Под `*` они уже проходят, но явная группа # снимает сомнения у операторов, которые читают robots.txt консервативно, и # фиксирует решение владельца (09.11.2026): пускаем и поисковых ботов AI, и # ботов обучения моделей. Чтобы закрыть обучение, но оставить цитирование в # ответах, — вынести GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, # CCBot, meta-externalagent в отдельную группу с `Disallow: /`. # Важно: робот со своей группой НЕ читает группу `*`, поэтому служебные # Disallow продублированы. # # YandexAdditional / YandexAdditionalBot управляют показом в ответах Алисы AI # (справка Вебмастера) — не закрывать ни при каких условиях. # # Content-Usage (IETF AIPREF, draft-ietf-aipref-vocab) и Content-Signal # (Cloudflare) — заявленная позиция правообладателя, не механизм запрета. # Значения совпадают с решением владельца выше. Строки нестандартные для # RFC 9309 и стоят внутри групп: парсеры, которые их не знают, пропускают # строку, не ломая группу. User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: GPTBot User-agent: OAI-AdsBot User-agent: PerplexityBot User-agent: Perplexity-User User-agent: ClaudeBot User-agent: Claude-User User-agent: Claude-SearchBot User-agent: Claude-Agent User-agent: Google-Extended User-agent: Applebot User-agent: Applebot-Extended User-agent: Amazonbot User-agent: Amzn-SearchBot User-agent: DuckAssistBot User-agent: MistralAI-User User-agent: CCBot User-agent: meta-externalagent User-agent: YandexAdditional User-agent: YandexAdditionalBot Content-Usage: train-ai=y, ai-use=y, search=y Content-Signal: search=yes, ai-input=yes, ai-train=yes Disallow: /api/ Disallow: /_next/image Disallow: /login Disallow: /register Disallow: /account/ Disallow: /cabinet/ Allow: / User-agent: Yandex Disallow: /api/ Disallow: /_next/image Disallow: /login Disallow: /register Disallow: /account/ Disallow: /cabinet/ Allow: / Content-Usage: train-ai=y, ai-use=y, search=y Content-Signal: search=yes, ai-input=yes, ai-train=yes # Метки, которые не меняют содержимое страницы. Без Clean-param Яндекс держит # каждый вариант с меткой как отдельный URL и делит между ними сигналы. # `ref` — наш партнёрский код, `from` — метка размещения. Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&utm_referrer&yclid&gclid&fbclid&ref&from Sitemap: https://plativputi.com/sitemap.xml