Возникла такая проблема. Сайт перенесли на новый шаблон, поменялии много урлов. В яндекс вебмастере все новые урлы отмечены как "запрещены к индексированию тегом noindex". Все возможные варианты перебрали откуда мог взяться этот запрет, все плагины выключили. Просмотрели весь архив, нашли все файлы где прописан noindex. В файле шаблона index.php есть строчки
<meta name="robots" content="noindex,nofollow">
<meta name="googlebot" content="noindex">
но, на сколько я понимаю, этот запрет распространяется именно на этот файл? Или это и есть наша проблема и именно этот запрет закрывает все страницы от индексации?
Метатеги "noindex" и "nofollow" указывают поисковым роботам что страница не должна индексироваться и следовать по ссылкам на ней, соответственно. Если эти метатеги присутствуют в файле шаблона index.php, то они будут применяться ко всем страницам, которые используют этот шаблон. Поэтому, вероятно, после переноса сайта на новый шаблон, эти метатеги сохраняются на всех страницах и препятствуют их индексации. Для исправления проблемы, вам нужно удалить или изменить эти метатеги в файле шаблона, чтобы разрешить индексацию страниц.
Помимо метатегов "noindex" и "nofollow" в файле шаблона index.php, также стоит проверить другие возможные причины, по которым страницы сайта могут быть запрещены для индексирования.
1. Проверьте файл robots.txt вашего сайта. В нем могут быть указания на запрет индексации определенных участков сайта или всех страниц в целом.
2. Убедитесь, что ваши страницы не содержат директиву "noindex" непосредственно в HTML-коде. Иногда разработчики добавляют такую директиву непосредственно в код страницы, что может привести к их нежелательной индексации.
3. Если вы используете плагины управления SEO-параметрами, проверьте их настройки. Некоторые из них могут иметь функционал, который блокирует индексацию страниц.
4. Проверьте файл .htaccess на вашем сервере. В нем могут быть указания на запрет индексации определенных типов файлов или определенных путей.
Попробуйте другой шаблон, для вп часто делают шаблоны школьники, поэтому не исключено что где то тег открыт и не закрыт или закрыт не понятно где
Вам нужно удалить данный тег со всех файлов вашего шаблона, а страницы которые хотите закрыть от индекса, закройте в файле robots.txt :)
всем спасибо за советы, тема давно не актуальна, можно закрывать.
Если вдруг кому пригодиться, в шаблоне (кстати, это джумла) в файле index.php были прописаны теги
<meta name="robots" content="noindex,nofollow">
<meta name="googlebot" content="noindex">
не знаю зачем это было сделано разработчиками от известной студии, но такой подвох стоил больших головняков. замена этих строчек на
<meta name="robots" content="index,follow">
проблему решила