Бесплатный онлайн-инструмент
Генератор robots.txt
Соберите правильный robots.txt за минуту: выберите CMS, укажите адрес сайта — получите готовый файл с типовыми правилами. Скопируйте или скачайте.
Что проверить после установки
- Файл доступен по адресу
site.ru/robots.txtи отдаёт код 200. - Sitemap указан полным адресом с протоколом — проверьте, что карта сайта существует.
- Проверьте файл в Яндекс.Вебмастере («Инструменты → Анализ robots.txt») и Google Search Console.
- Убедитесь, что не закрыты CSS и JS: роботы должны видеть страницу как пользователь.
Ссылки с UTM-метками для рекламы удобно собирать в нашем генераторе UTM-меток.
Свои правила и AI-боты
В поле «Свои правила» можно добавить любые строки — по одной на строку. Если написать просто путь (/private/), генератор сам превратит его в Disallow: /private/. Готовые директивы (Allow: /public/, Crawl-delay: 2) добавляются как есть — так удобно дописать нестандартные разделы вашей CMS поверх готового шаблона.
Опция «Запретить AI-ботов» добавляет отдельные блоки для GPTBot, ClaudeBot, CCBot, Google-Extended и PerplexityBot — если не хотите, чтобы контент сайта использовался для обучения нейросетей. Готовый файл можно сразу скачать кнопкой «Скачать robots.txt» и загрузить в корень сайта.
Частые вопросы
Что такое robots.txt и зачем он нужен?
Robots.txt — текстовый файл в корне сайта, который указывает поисковым роботам, какие разделы можно сканировать, а какие нет. Правильный robots.txt экономит краулинговый бюджет и закрывает от индексации служебные страницы.
Куда положить файл robots.txt?
Строго в корень сайта: файл должен открываться по адресу site.ru/robots.txt. В подпапках или на других адресах роботы его не найдут.
Закрывает ли robots.txt страницы от индексации?
Не полностью: Disallow запрещает сканирование, но страница может попасть в индекс по внешним ссылкам. Для гарантированного исключения используйте мета-тег robots со значением noindex или заголовок X-Robots-Tag.
Что делает директива Clean-param?
Clean-param — директива для Яндекса: указывает GET-параметры, не влияющие на содержимое страницы (например, UTM-метки). Робот склеит такие URL с основным и не будет тратить на них краулинговый бюджет.
Как запретить нейросетям использовать мой сайт?
Включите опцию «Запретить AI-ботов» — генератор добавит блоки Disallow для GPTBot, ClaudeBot, CCBot, Google-Extended и PerplexityBot. Это просит краулеры ИИ-сервисов не использовать контент сайта для обучения. Директива носит рекомендательный характер: её соблюдают только добросовестные боты.