robots.txt и sitemap.xml

Есть ли файлы, что в них закрыто от индексации, сколько страниц в карте сайта.

Это только часть проверок из 50+

Полный AI SEO Audit — мета-теги, скорость, ссылки, 152-ФЗ, ИИ-анализ. Отчёт за 5 минут.

запустить полный аудит →

Почему стоит проверить robots.txt и sitemap.xml

robots.txt — первое, что запрашивает поисковый робот перед обходом сайта, и одна лишняя строка Disallow: / способна закрыть от индексации весь сайт целиком: такое встречается на сайтах, где этот файл остался от тестового окружения и никто не проверил его после запуска в бой.

sitemap.xml ускоряет обнаружение новых страниц, но бесполезен, если в нём указаны URL с ошибками, старые адреса после переезда на новый домен или он вовсе не подключён в robots.txt строкой Sitemap:. Проверка за секунды показывает, найден ли файл, сколько в нём адресов и это обычный сайтмап или индекс из нескольких файлов.

Кто проверяет

Веду этот сайт и все инструменты сам. С 2022 года работаю с 1С-Битрикс и Bitrix24, пишу backend на PHP, провожу технические аудиты сайтов — сейчас TechLead веб-разработки. Эти проверки — часть той же практики: находить то, что не видно с первого взгляда.

Подробнее об опыте →

Обсудим задачу.

Опишите задачу или проект — отвечу в течение дня. Если нет чёткого ТЗ, это не проблема: помогу сформулировать.

Нажимая кнопку «Отправить», я даю согласие на обработку персональных данных для целей обратной связи и соглашаюсь с Политикой обработки персональных данных .