Технический аудит сайта — чек-лист из 20 проверок, которые можно сделать самому

Технический аудит сайта — это проверка того, может ли поисковый робот найти, прочитать и правильно понять страницы: открыт ли сайт в robots.txt, есть ли карта сайта, один ли у него адрес, нет ли дублей и битых ссылок, быстро ли он грузится с телефона. Сегодня к этому добавляется доступ роботов нейросетей и текст, который виден без JavaScript. Большую часть проверок владелец сайта может сделать сам за пару часов с бесплатными инструментами: Яндекс Вебмастером, PageSpeed Insights и браузером.

Ниже — 20 проверок из чек-листа, по которому работает аудит Vidence. Для каждой указано, чем проверить, что считать ошибкой и сколько примерно займёт. Время — наша оценка для сайта на 10–50 страниц, условная.

С чего начать технический аудит?

С подготовки, без которой половину проверок не сделать:

• Добавьте сайт в Яндекс Вебмастер и подтвердите права. Это бесплатно, а данные об индексации, дублях и ошибках появятся только после добавления.
• Откройте сайт в браузере в режиме инкогнито — без сохранённых входов и кеша вы увидите то же, что посетитель.
• Заведите таблицу: проверка, результат, что исправить, кто исправляет. Аудит без списка исправлений — просто чтение.

Проверки разбиты на четыре группы в том порядке, в каком их стоит делать: если роботы не могут попасть на сайт, остальное неважно.

Могут ли роботы попасть на сайт?

№	Проверка	Чем проверить	Ошибка, если	Время
1	robots.txt существует	откройте ваш-сайт.ru/robots.txt	ответ не 200, файл пустой или вместо него HTML-страница	2 мин
2	Сайт не закрыт целиком	тот же файл	для User-agent: * стоит Disallow: /	2 мин
3	Открыт основной робот Яндекса	тот же файл	есть запрет для YandexBot	2 мин
4	Текст разрешено брать в ответы Алисы	тот же файл	есть запрет для YandexAdditional	2 мин
5	Открыты поисковые роботы нейросетей	тот же файл	запрещены OAI-SearchBot (ChatGPT), PerplexityBot (Perplexity) или Claude-SearchBot (Claude)	5 мин
6	Коммерческие страницы не закрыты от индекса	исходный код страниц услуг (Ctrl+U)	на странице есть noindex в meta robots	10 мин

Робот YandexAdditional из проверки 4 сам сайт не обходит, но Яндекс учитывает правила для него, когда решает, можно ли показывать текст страницы в быстрых ответах и ответах Поиска с Алисой. Запрет на него не убирает сайт из выдачи, поэтому его легко не заметить.

В проверке 5 важно не перепутать два вида роботов нейросетей. Поисковые — OAI-SearchBot, PerplexityBot, Claude-SearchBot — собирают страницы, чтобы показывать и цитировать сайт в ответах ChatGPT, Perplexity и Claude: их запрет убирает вас из этих ответов, и это ошибка. Роботы обучения — GPTBot, ClaudeBot, Google-Extended — собирают тексты для обучения моделей: их запрет на ответы с поиском не влияет, по документации OpenAI, Anthropic и Google, поэтому закрыть их — допустимый выбор владельца, а не ошибка.

Есть и третий вид — агенты, которые заходят на страницу по просьбе конкретного пользователя: ChatGPT-User, Claude-User, Perplexity-User. Их тоже лучше не закрывать, если вы хотите, чтобы ассистент мог открыть ваш сайт, когда человек о нём спрашивает.

Если в robots.txt нет отдельной группы для робота, для него действуют правила User-agent: *.

Видит ли робот то же, что человек?

№	Проверка	Чем проверить	Ошибка, если	Время
7	Текст отдаётся без JavaScript	исходный код страницы (Ctrl+U), поиск по фразе из первого абзаца	фразы нет в исходном коде — текст подставляет скрипт	10 мин
8	Карта сайта есть и указана	ваш-сайт.ru/sitemap.xml и строка Sitemap: в robots.txt	файла нет, он отдаёт ошибку или в нём устаревшие адреса	10 мин
9	Карта сайта принята Яндексом	Вебмастер → «Файлы Sitemap»	статус «Ошибка» или «Редирект»	5 мин
10	Нет важных страниц среди исключённых	Вебмастер → «Страницы в поиске» → «Исключённые»	там страницы услуг, цен, контактов	15 мин
11	Указан язык страницы	исходный код	у тега <html> нет атрибута lang	2 мин

Проверка 7 важна для нейросетей. Не все роботы выполняют JavaScript. Если сайт собран так, что текст появляется только после работы скрипта, такой робот видит пустую страницу. В нашем аудите это одна из самых тяжёлых ошибок.

Один ли у сайта адрес и нет ли дублей?

№	Проверка	Чем проверить	Ошибка, если	Время
12	Работает HTTPS	откройте сайт по https://	предупреждение браузера о сертификате	2 мин
13	http ведёт на https	откройте http://ваш-сайт.ru	страница открывается по http без перехода	2 мин
14	Один главный адрес	откройте адрес с www и без	оба открываются без перенаправления на один	5 мин
15	Нет цепочек редиректов	адрес из рекламы или старой ссылки, вкладка «Сеть» в инструментах браузера	больше одного перенаправления подряд	10 мин
16	Нет дублей страниц	Вебмастер → «Исключённые» → фильтр «Дубль»	страница услуги объявлена дублем другой	15 мин

По справке Яндекса роботы сначала индексируют разные адреса сайта — с www и без, по http и https — как отдельные сайты и только потом объединяют их в группу с одним главным адресом. Пока этого не произошло, показатели сайта делятся между адресами. Постоянное перенаправление (301) на один адрес помогает Яндексу быстрее определить главный.

Дубли — страницы с почти одинаковым текстом по разным адресам. Из группы таких страниц Яндекс сам выбирает одну для поиска, и выбор может пасть не на ту, которую вы продвигаете.

Нет ли ошибок, которые мешают людям?

№	Проверка	Чем проверить	Ошибка, если	Время
17	Нет битых внутренних ссылок	отчёт о неработающих ссылках в Вебмастере или обход меню и подвала вручную	ссылки ведут на страницу 404	15 мин
18	Скорость на телефоне	PageSpeed Insights, вкладка «Мобильные»	LCP больше 2,5 с	5 мин на страницу
19	Вёрстка не прыгает	тот же отчёт	CLS больше 0,1	—
20	Сайт удобен с телефона	откройте сайт на телефоне	текст мелкий, есть горизонтальная прокрутка, кнопки не нажимаются	10 мин

Пороги в проверках 18 и 19 — рекомендации Google для Core Web Vitals: страница с хорошим показателем загружает основное содержимое быстрее 2,5 секунды, а сдвиг вёрстки не превышает 0,1. Проверяйте не только главную, но и две-три страницы услуг — посетители из поиска чаще всего попадают именно туда.

хорошо — быстрее 2,5 с

0 с5 с

Данные графика: Скорость загрузки основного содержимого (LCP)

Что	Значение
хорошо — быстрее 2,5 с	2,5 с

хорошо — не больше 0,1

00,25

Данные графика: Сдвиг вёрстки (CLS)

Что	Значение
хорошо — не больше 0,1	0,1

Что исправлять в первую очередь?

Сорок исправлений сразу не делает никто, поэтому порядок важен. Мы сортируем ошибки так:

1. Всё, что закрывает сайт от роботов — проверки 2–7. Пока они не исправлены, остальное не имеет смысла: страниц, которые робот не видит, для поиска нет.
2. Страницы услуг вне индекса и дубли — проверки 10 и 16. Это ваши деньги: именно эти страницы приводят заявки.
3. Адрес сайта и редиректы — проверки 12–15. Обычно правится за час на стороне хостинга.
4. Скорость и мобильная версия — проверки 18–20. Часто требуют разработчика и занимают больше времени.

1. 01Всё, что закрывает сайт от роботовпроверки 2–7
2. 02Страницы услуг вне индекса и дублипроверки 10 и 16
3. 03Адрес сайта и редиректыпроверки 12–15
4. 04Скорость и мобильная версияпроверки 18–20

Данные графика: Порядок исправлений

Что	Значение
1	Всё, что закрывает сайт от роботов: проверки 2–7
2	Страницы услуг вне индекса и дубли: проверки 10 и 16
3	Адрес сайта и редиректы: проверки 12–15
4	Скорость и мобильная версия: проверки 18–20

Многие пункты из первой группы правятся одной строкой в robots.txt. Поэтому самые важные исправления обычно оказываются и самыми дешёвыми.

Частые вопросы

Как часто проводить технический аудит?

Полный — раз в полгода и после любых крупных изменений: переезда на новый движок, смены дизайна, переноса на другой хостинг. Раз в месяц достаточно заглядывать в Вебмастер: он сам сообщает о проблемах с индексацией.

Чем технический аудит отличается от SEO-аудита?

Технический отвечает на вопрос «может ли робот прочитать сайт». SEO-аудит шире: в нём ещё тексты страниц, запросы, на которые они отвечают, структура сайта, конкуренты. Технический аудит — первый шаг: без него остальные проверки могут не иметь смысла.

Нужен ли платный сервис для аудита?

Для сайта на несколько десятков страниц — нет: всё из этого списка проверяется бесплатными инструментами. Платные сервисы-краулеры полезны, когда страниц сотни и тысячи и проверять их вручную долго.

Можно ли сломать сайт, исправляя robots.txt?

Можно, и это самая дорогая ошибка в этом списке. Одна строка Disallow: / в группе User-agent: * закрывает весь сайт для всех роботов. Перед правкой сохраните копию файла, после — проверьте его инструментом «Анализ robots.txt» в Вебмастере: он показывает, какие адреса разрешены, а какие закрыты. И не закрывайте в robots.txt страницы, которые хотите убрать из поиска: по справке Яндекса для этого нужен noindex, а запрет в robots.txt не гарантирует, что страница исчезнет.

Что такое главный адрес сайта и зачем его выбирать?

Один сайт часто открывается по нескольким адресам: с www и без, по http и https. Для Яндекса это сначала разные сайты, и только потом он объединяет их и выбирает главный. Выберите его сами, настройте на него перенаправления и укажите его в Вебмастере — так в поиске будет тот адрес, который вы продвигаете.

Что делать, если я не понимаю, как исправить ошибку?

Запишите в таблицу, что нашли и где: адрес страницы, скриншот, текст ошибки из Вебмастера. С таким списком разработчик или подрядчик исправит быстрее, а вы сможете проверить, что исправлено.

Что дальше

Часть этих проверок — доступ роботов поиска и нейросетей, текст без JavaScript, карту сайта, адреса и скорость — бесплатный аудит делает автоматически и собирает в один отчёт. Если нужен не список ошибок, а план работ с приоритетами, смотрите «Расширенный аудит».