Как мы настроили свой сайт для Алисы и ChatGPT — robots.txt, llms.txt и разметка vidence.pro

Чтобы Алиса и ChatGPT могли опереться на сайт, ему нужны четыре вещи: открытый для роботов robots.txt, текст в HTML без выполнения скриптов, разметка с данными о компании и понятная структура страниц. Ниже — как это сделано на нашем сайте vidence.pro. Каждый файл открыт: можно зайти по ссылке и сравнить со своим. Сразу честная оговорка: настройка — условие, а не гарантия. Наш сайт открылся 18 октября 2026 года, и отчёт Вебмастера о видимости в Алисе AI пока показывает «Пока недостаточно данных».

robots.txt: открыто всё, кроме служебного

Файл целиком — так он выглядит 26 октября 2026 года:

User-agent: *
Allow: /
Disallow: /api/
Disallow: /audit/
Disallow: /admin
Disallow: /unsubscribe
Disallow: /design
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_referrer&yclid&ysclid&gclid&fbclid&_openstat&erid&roistat&from&t&r&view

Sitemap: https://vidence.pro/sitemap.xml

Что здесь и почему:

• Одна группа для всех роботов. Отдельных правил для GPTBot, ClaudeBot, PerplexityBot или робота Яндекса нет: всем открыт весь сайт. Мы хотим, чтобы нейросети читали наши страницы, поэтому никого не выделяем.
• Закрыто служебное. /api/ — программный интерфейс, /audit/ с косой чертой — страницы отчётов конкретных аудитов, /admin — вход администратора, /unsubscribe — отписка от писем, /design — внутренние макеты. Страница самого аудита /audit без косой черты открыта.
• Clean-param — директива Яндекса. Она сообщает роботу, что перечисленные параметры адреса не меняют содержимое страницы. Метки UTM из соцсетей и рекламы, идентификаторы кликов Директа и Google не плодят дубли страниц в поиске.
• Sitemap — адрес карты сайта. На 26 октября в ней 52 адреса.

В самой карте сайта дата изменения (lastmod) стоит только там, где она известна: у 35 адресов из 52 — кейсы и расчёты, лента блога, рубрики и статьи. У страниц услуг её нет намеренно. Дата должна меняться, когда страница действительно обновилась, а не при каждой сборке сайта: её смысл — показать роботу, что на странице появилось новое.

Текст виден без JavaScript

Роботы нейросетей часто не выполняют скрипты, а читают ответ сервера как есть. Поэтому страницы vidence.pro собираются на сервере: в HTML сразу лежит весь текст. Проверить это можно одной командой — запросить главную от имени робота OpenAI и поискать заголовок:

curl -A "GPTBot" https://vidence.pro/ | grep "<h1"

В ответе — главный заголовок страницы «Проверьте, называют ли вас нейросети». Если на вашем сайте такая команда возвращает пустоту, а в браузере текст есть — значит, текст дорисовывает скрипт, и часть роботов его не увидит.

Разметка: кто мы, что продаём, что на странице

На каждой странице есть разметка JSON-LD — блок, где сайт сообщает о себе в формате, понятном машинам. Набор типов зависит от вида страницы:

Страница	Типы разметки
Главная	ProfessionalService (агентство), WebSite, FAQPage с вопросами и ответами
Страница услуги	Service и Offer (услуга), BreadcrumbList (путь по сайту), FAQPage, ProfessionalService
Статья блога	BlogPosting, Person (автор), Blog, BreadcrumbList, FAQPage
«О нас»	AboutPage, Person (основатель), BreadcrumbList, ProfessionalService

Во всех вариантах одинаковые название, телефон и город. Адрес — только город, Москва: офиса, куда можно прийти, у нас нет, и выдумывать его мы не стали. В разметке услуги есть предложение (Offer), но без цены: стоимость работ мы называем после бесплатного разбора.

llms.txt: оглавление сайта для ИИ-ассистентов

llms.txt — текстовый файл в формате markdown с кратким описанием сайта и ссылками на главные страницы. Наш файл на 26 октября — 84 строки. В нём:

• короткое описание: кто мы и с чего начать;
• услуги со ссылками и одной строкой о каждой;
• раздел «Как мы измеряем» — методика, гарантии и аудит;
• кейсы и расчёты, по строке о каждом;
• статьи блога, сгруппированные по рубрикам, с описанием каждой;
• раздел «Агентство» — о нас, контакты и юридическое лицо.

Файл собирается автоматически: когда в блоге выходит статья или появляется кейс, они сами появляются в llms.txt. Отдельно поддерживать его не нужно: 20 октября в файле было 60 строк, 26 октября — 84, и руками в него никто не заходил.

Оговорка та же, что в нашей статье что такое llms.txt: формат предложен сообществом, Яндекс не заявлял, что его учитывает. Мы держим файл, потому что он ничего не стоит в поддержке и помогает ассистентам, которые его читают.

Что показал самоаудит 25.10.2026

Самоаудит 25.10.2026: мы прогнали опубликованный сайт тем же движком, что и бесплатный аудит, — по всем 52 страницам из карты сайта. Неделей раньше, 20 октября, оценки были ниже: движок не находил адрес, у пяти статей заголовки страниц (title) выходили за норму длины, а на шести страницах не хватало конкретики — цифр, сроков, условий. К 25 октября эти три замечания ушли, и обе оценки сайта целиком — 100.

• SEO-основа100 из 100
• Готовность к ИИ100 из 100
• Порог для страницы70 из 100

Данные графика: Самопроверка vidence.pro, оценка сайта целиком

Что	Значение
SEO-основа	100 из 100
Готовность к ИИ	100 из 100
Порог для страницы	70 из 100

Сто баллов сайту целиком — не значит, что замечаний нет. Все 52 страницы прошли порог, но у отдельных страниц провалы остались, и мы их не прячем:

• Страницы-списки не дают ответа. Лента блога, пять страниц рубрик и витрина кейсов — это перечни ссылок с короткими описаниями. Проверку «может ли нейросеть взять ответ из текста» они не проходят: у витрины кейсов оценка 2 из 10, у двух рубрик меньше 300 слов. Так и задумано: ответ лежит в статьях, а не в списке. Та же проверка не пройдена и у одного кейса — про страницы услуг ветклиники.
• Мало конкретики в трёх текстах. В описании рубрики «Реклама» и в двух статьях — о продвижении на Авито и о чат-боте — движок не нашёл цифр, сроков и условий в нужной доле предложений. Поправим при обновлении статей.
• Нет определений терминов на кейсах. Витрина кейсов не объясняет термины ниши и не ставит вопросы в подзаголовки, у двух кейсов нет определений. Для страницы с расчётом это допустимо, но формально проверка не пройдена.
• Юридические страницы без разметки. Политика и согласие на обработку данных — без JSON-LD, списков и определений: 84 и 72 балла готовности к ИИ. Порог на них не распространяется, и дорабатывать их мы не будем.

Скорость по PageSpeed Insights в этот прогон не вошла: сервис не ответил, и три проверки скорости остались без оценки. Адрес движок теперь находит: на странице контактов написано, что работаем в Москве и по всей России, а улицы и офиса там по-прежнему нет.

Чего настройка не даёт

Хорошая самопроверка не значит, что Алиса уже называет наш сайт. Алиса AI строит ответ из страниц, которые нашёл Поиск, а сайт открылся только 18 октября. В Вебмастере на 20 октября в поиске одна страница, отчёт «Видимость сайта в Алисе AI» пишет «Пока недостаточно данных». Почему так бывает у новых сайтов, мы разобрали в статье о видимости сайта в Алисе AI.

Настройка снимает технические препятствия. Дальше решают время, позиции в Поиске, содержание страниц и упоминания компании на других площадках.

Как повторить на своём сайте

1. Откройте адрес-сайта/robots.txt. Нет ли Disallow: / для всех роботов или для GPTBot, ClaudeBot, Yandex? Указан ли Sitemap?
2. Выполните команду с curl -A "GPTBot" из раздела выше или откройте страницу с отключённым JavaScript. Виден ли заголовок и текст?
3. Откройте исходный код главной (Ctrl+U) и найдите application/ld+json. Есть ли там название, телефон и город вашей компании?
4. Сравните название, телефон и город в разметке, на сайте и в карточке Яндекс Бизнеса — они должны совпадать.
5. Если хотите, добавьте llms.txt: краткое описание и ссылки на главные страницы.

Частые вопросы

Нужно ли прописывать в robots.txt отдельные правила для GPTBot и других ИИ-ботов?

Не обязательно. Если для всех роботов открыт весь сайт, ИИ-боты тоже его видят. Отдельные правила нужны, только если вы хотите кого-то ограничить.

Зачем закрывать страницы отчётов аудита?

Это персональные страницы с результатами для конкретного сайта. В поиске им делать нечего: они не отвечают на общий вопрос и могут создавать дубли.

Можно ли поставить адрес в разметку, если офиса нет?

Мы указали только город. Выдумывать адрес нельзя: нейросети сверяют данные компании на разных площадках, и расхождения мешают больше, чем отсутствие улицы.

Сколько времени нужно, чтобы сайт начал появляться в ответах Алисы?

Общего срока нет. Сначала сайт должен проиндексироваться и занять позиции в Поиске — за этим можно следить в Вебмастере. Мы будем рассказывать, как это происходит на нашем сайте.

Проверьте свой сайт

Все пункты этой статьи и ещё полсотни проверяет бесплатный аудит Vidence, обычно за 3–4 минуты, и задаёт нейросетям вопросы ваших клиентов. Если нужна настройка под ключ — продвижение в поиске и нейросетях, стоимость после бесплатного разбора.