Редактирование файла robots.txt

iProger · 18-07-2019, 14:41:40

Цитата: artur2k от 18-07-2019, 11:58:17у второй страницы не будет никакого контента, где тут уникальность?

На странице /portfolio будет портфолио. Для быстрых ссылок в сниппете - страница как раз подойдет.

artur2k · 18-07-2019, 18:49:24

Цитата: iProger от 18-07-2019, 14:41:40
На странице /portfolio будет портфолио. Для быстрых ссылок в сниппете - страница как раз подойдет.

В таком случае на сайте будет куча дублей с закрытым контентом.

iProger · 18-07-2019, 18:58:23

Цитата: artur2k от 18-07-2019, 18:49:24
будет куча дублей с закрытым контентом.

Почему? Имеете в виду пагинацию?
Дублей не будет, т.к. для индексации обычно открывают только первую страницу каталога.
Повторюсь, закрыть от индексации нужно кейсы на Глваной, а не в портфолио.

artur2k · 19-07-2019, 00:43:52

Цитата: iProger от 18-07-2019, 18:58:23
Почему? Имеете в виду пагинацию?
Дублей не будет, т.к. для индексации обычно открывают только первую страницу каталога.
Повторюсь, закрыть от индексации нужно кейсы на Глваной, а не в портфолио.

Единственное отличие размещенных обычным образом ссылок от ссылок в теге <noindex> – это то, что текст (анкор) ссылки не будет проиндексирован.
В таком случае лучше rel="nofollow", который работает как для Яндекса, так и для Google. Но при использовании этого атрибута ссылка всё равно будет изучена роботом и по ней будет произведён переход, но без nofollow по ссылке будет передан вес адресату, а с nofollow вес будет сгорать.

iProger · 19-07-2019, 00:48:04

Цитата: artur2k от 19-07-2019, 00:43:52nofollow

Причем здесь nofollow?
ТС интересует как избавиться от дубля контента на главной и в портфолио.

Sky-fi · 19-07-2019, 00:58:57

Цитата: iProger от 19-07-2019, 00:48:04ТС интересует как избавиться от дубля контента на главной и в портфолио

ТС интересовался изначально, как закрыть страницу: my-site.com/portfolio. Из этого выходит, что данная страница не нужна.

Валентинка · 19-07-2019, 10:17:26

Можно как то сгенерить файл robots.txt под свой сайт?

vold57 · 19-07-2019, 11:31:58

Можно найти типовой вариант для вашей CMS и потом в случае необходимости доработать.

serpseeker · **Вчера** в 13:06:50

В robots.txt пиши так:

Код Выделить

User-agent: *
Disallow: /portfolio$

Знак $ в конце указывает, что закрывается только конкретная страница /portfolio, а не всё, что начинается с этого пути, типа /portfolio/project-page. Иначе задизейблишь всё портфолио. А вообще, почему не используешь метатеги noindex через плагин типа Yoast SEO? Это же проще, чем ковыряться в robots.txt. И проверь через "краулер", не закрыл ли чего лишнего.