Seo Форум

Поисковая оптимизация => Базовая поисковая оптимизация => Тема начата: xan от 16-07-2019, 13:11:22

Название: Редактирование файла robots.txt
Отправлено: xan от 16-07-2019, 13:11:22
Привет всем! Нужна небольшая помощь по редактированию robots.txt.

Проект работает на Wordpress. Титульная страница сайта - портфолио, агрегатор всех проектов + SEO текст.
Страница отдельного проекта имеет адрес www.my-site.com/portfolio/project-page.
Также автоматически темой создаётся страница агрегатор портфолио с адресом www.my-site.com/portfolio, которая дублирует титульную страницу со списком проектов. Закрыть страницу от индексации через метатег не представляется возможным (а может это возможно?)   

Как правильно добавить в robots.txt адрес страницы www.my-site.com/portfolio, чтобы закрыть её от индексирования, но не закрывались при этом отдельные страницы проектов?
Название: Re: Редактирование файла robots.txt
Отправлено: Sky-fi от 16-07-2019, 13:50:02
Должно сработать "Disallow: /portfolio$" или "Disallow: /portfolio/$", в зависимости от того, что идет в конце урла.
Однако, если страница www.my-site.com/portfolio уже в поисковой выдаче - лучше использовать мета-тег, так как запрет в роботсе не удалит страницу из выдачи.
Закрыть страницу от индексации через метатег не представляется возможным (а может это возможно?)   
Если у вас стоит seo-плагин (напр. Yoast или AIO) - в админке перейдите на редактирование страницы и в seo настройках установите запрет на индексацию.
Название: Re: Редактирование файла robots.txt
Отправлено: xan от 16-07-2019, 14:08:01
Благодарю, буду пробовать. Если адрес www.my-site.com/portfolio, то что нужно писать? 
К сожалению, страницы www.my-site.com/portfolio как таковой в админке нет, в настройках темы задаётся только название этого раздела (portfolio, project и т.д.), это меня и парит. Поэтому и тегами закрыть её я не знаю как.

Должно сработать "Disallow: /portfolio$" или "Disallow: /portfolio/$", в зависимости от того, что идет в конце урла.
Однако, если страница www.my-site.com/portfolio уже в поисковой выдаче - лучше использовать мета-тег, так как запрет в роботсе не удалит страницу из выдачи.Если у вас стоит seo-плагин (напр. Yoast или AIO) - в админке перейдите на редактирование страницы и в seo настройках установите запрет на индексацию.
Название: Re: Редактирование файла robots.txt
Отправлено: Sky-fi от 16-07-2019, 14:24:48
Если адрес www.my-site.com/portfolio, то что нужно писать?
Disallow: /portfolio$
Но если страница доступна по адресу со слешем в конце и без него - придется прописать оба правила.

в настройках темы задаётся только название этого раздела (portfolio, project и т.д.), это меня и парит. Поэтому и тегами закрыть её я не знаю как.
Как вариант, можно поискать в папке темы вывод шаблона этой страницы, и там уже по коду думать, как закрыть.
Название: Re: Редактирование файла robots.txt
Отправлено: xan от 16-07-2019, 14:33:47
Благодарю! Думал уже про шаблон этой страницы, он есть, но там только нужный фрагмент из <body>, который выводит все проекты списком.
 
Disallow: /portfolio$
Но если страница доступна по адресу со слешем в конце и без него - придется прописать оба правила.
Как вариант, можно поискать в папке темы вывод шаблона этой страницы, и там уже по коду думать, как закрыть.
Название: Re: Редактирование файла robots.txt
Отправлено: artur2k от 17-07-2019, 19:49:44
Чтобы не потерять вес ссылок на те страницы, что уже проиндексировались я бы прописал в шаблоне WP следующий код:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.или даже лучше rel canonical
Название: Re: Редактирование файла robots.txt
Отправлено: xan от 17-07-2019, 22:36:00
я так понимаю, что эта команда назначает noindex при условии равности ссылки адресу site.com/portfolio ?
Чтобы не потерять вес ссылок на те страницы, что уже проиндексировались я бы прописал в шаблоне WP следующий код:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.или даже лучше rel canonical
Название: Re: Редактирование файла robots.txt
Отправлено: artur2k от 17-07-2019, 23:31:43
Этот тег будет проставлен на все страницы с url-адресом оканчивающимся на "portfolio"
Название: Re: Редактирование файла robots.txt
Отправлено: iProger от 18-07-2019, 02:10:24
А может лучше закрыть список проектов на главной?
https://yandex.ru/support/webmaster/adding-site/indexing-prohibition.html#indexing-prohibition__content
В итоге у обоих страниц получится уникальный контент.
Название: Re: Редактирование файла robots.txt
Отправлено: artur2k от 18-07-2019, 11:58:17
А может лучше закрыть список проектов на главной?
https://yandex.ru/support/webmaster/adding-site/indexing-prohibition.html#indexing-prohibition__content
В итоге у обоих страниц получится уникальный контент.
Тег <noindex> не работает для Google (для гугла есть <!--googleoff: all-->), да и реализация этого намного сложнее чем мой пример выше.
+ у второй страницы не будет никакого контента, где тут уникальность?
Название: Re: Редактирование файла robots.txt
Отправлено: iProger от 18-07-2019, 14:41:40
у второй страницы не будет никакого контента, где тут уникальность?
На странице /portfolio будет портфолио. Для быстрых ссылок в сниппете - страница как раз подойдет.
Название: Re: Редактирование файла robots.txt
Отправлено: artur2k от 18-07-2019, 18:49:24
На странице /portfolio будет портфолио. Для быстрых ссылок в сниппете - страница как раз подойдет.
В таком случае на сайте будет куча дублей с закрытым контентом.
Название: Re: Редактирование файла robots.txt
Отправлено: iProger от 18-07-2019, 18:58:23
будет куча дублей с закрытым контентом.
Почему? Имеете в виду пагинацию?
Дублей не будет, т.к. для индексации обычно открывают только первую страницу каталога.
Повторюсь, закрыть от индексации нужно кейсы на Глваной, а не в портфолио.
Название: Re: Редактирование файла robots.txt
Отправлено: artur2k от 19-07-2019, 00:43:52
Почему? Имеете в виду пагинацию?
Дублей не будет, т.к. для индексации обычно открывают только первую страницу каталога.
Повторюсь, закрыть от индексации нужно кейсы на Глваной, а не в портфолио.
Единственное отличие размещенных обычным образом ссылок от ссылок в теге <noindex> – это то, что текст (анкор) ссылки не будет проиндексирован.
В таком случае лучше rel="nofollow", который работает как для Яндекса, так и для Google. Но при использовании этого атрибута ссылка всё равно будет изучена роботом и по ней будет произведён переход, но без nofollow по ссылке будет передан вес адресату, а с nofollow вес будет сгорать.
Название: Re: Редактирование файла robots.txt
Отправлено: iProger от 19-07-2019, 00:48:04
nofollow
Причем здесь nofollow?
ТС интересует как избавиться от дубля контента на главной и в портфолио.
Название: Re: Редактирование файла robots.txt
Отправлено: Sky-fi от 19-07-2019, 00:58:57
ТС интересует как избавиться от дубля контента на главной и в портфолио
ТС интересовался изначально, как закрыть страницу: my-site.com/portfolio. Из этого выходит, что данная страница не нужна.
Название: Re: Редактирование файла robots.txt
Отправлено: Валентинка от 19-07-2019, 10:17:26
Можно как то сгенерить файл robots.txt под свой сайт?
Название: Re: Редактирование файла robots.txt
Отправлено: vold57 от 19-07-2019, 11:31:58
Можно найти типовой вариант для вашей CMS и потом в случае необходимости доработать.