Файл robots.txt очень важен для правильного индексирования и продвижения сайта в поисковых системах Яндекс и Google. В рунете многие сеошники рекомендуют добавлять в robots.txt для WordPress десятки правил, запрещающих индексацию тех или иных директорий, разделов, скриптов.

Между тем, у разработчиков самого популярного SEO-плагина для WordPress - Yoast SEO - другое мнение, которое явно заслуживает доверия.

Современные алгоритмы Google сканируют не только HTML-код, но и файлы стилей и JavaScript, полностью индексируя всё содержимое сайтов. Поэтому неправильно блокировать поисковику доступ к файлам CSS и JS, что советуют многие горе-оптимизаторы.

Рекомендации по блокировке доступа к каталогам /wp-includes/ и /wp-content/plugins/ через robots.txt также больше не актуальны, т.к. в них находятся JavaScript и CSS, которые требуются поисковику для отображения страницы и которые используют многие темы.

Добавлять в robots.txt запрет на индексацию каталога /wp-admin/ также не имеет смысла, т.к. разработчики WordPress добавили мета-тэг X-Robots-Tag, предотвращающий индексацию админ-панели.

Что стоит добавить в файл robots.txt сайта на WordPress? Разве что директивы Host и Sitemap. И то - только в случае, если вы не добавили их в Google Search Console и Яндекс.Вебмастер.

Пример правильного файла robots.txt для сайта на WordPress:

User-Agent: *
Host: https://hostingsaitov.ru
Sitemap: https://hostingsaitov.ru/sitemap.xml