Редактирование файла robots.txt

« предыдущая тема следующая тема »
Страниц: [1] 2   Вниз

Автор Тема: Редактирование файла robots.txt  (Прочитано 4240 раз)

Оффлайн xanАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 4
  • Сообщений: 23
  • Карма: 0
  • Пол: Мужской
    • Рекламная фотостудия, профессиональная фотосъемка в Минске

Оффлайн xanАвтор темы

  • Рекрут
  • *
Редактирование файла robots.txt
« : 16-07-2019, 13:11:22 »
Привет всем! Нужна небольшая помощь по редактированию robots.txt.

Проект работает на Wordpress. Титульная страница сайта - портфолио, агрегатор всех проектов + SEO текст.
Страница отдельного проекта имеет адрес www.my-site.com/portfolio/project-page.
Также автоматически темой создаётся страница агрегатор портфолио с адресом www.my-site.com/portfolio, которая дублирует титульную страницу со списком проектов. Закрыть страницу от индексации через метатег не представляется возможным (а может это возможно?)   

Как правильно добавить в robots.txt адрес страницы www.my-site.com/portfolio, чтобы закрыть её от индексирования, но не закрывались при этом отдельные страницы проектов?
Записан

Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3781
  • Сообщений: 5409
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3781
    • Сообщений: 5409
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Частный SEO оптимизатор Sky-fi
Re: Редактирование файла robots.txt
« Ответ #1 : 16-07-2019, 13:50:02 »
Должно сработать "Disallow: /portfolio$" или "Disallow: /portfolio/$", в зависимости от того, что идет в конце урла.
Однако, если страница www.my-site.com/portfolio уже в поисковой выдаче - лучше использовать мета-тег, так как запрет в роботсе не удалит страницу из выдачи.
Цитата: xan от 16-07-2019, 13:11:22
Закрыть страницу от индексации через метатег не представляется возможным (а может это возможно?)   
Если у вас стоит seo-плагин (напр. Yoast или AIO) - в админке перейдите на редактирование страницы и в seo настройках установите запрет на индексацию.
Записан

Оффлайн xanАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 4
  • Сообщений: 23
  • Карма: 0
  • Пол: Мужской
    • Рекламная фотостудия, профессиональная фотосъемка в Минске

Оффлайн xanАвтор темы

  • Рекрут
  • *
Re: Редактирование файла robots.txt
« Ответ #2 : 16-07-2019, 14:08:01 »
Благодарю, буду пробовать. Если адрес www.my-site.com/portfolio, то что нужно писать? 
К сожалению, страницы www.my-site.com/portfolio как таковой в админке нет, в настройках темы задаётся только название этого раздела (portfolio, project и т.д.), это меня и парит. Поэтому и тегами закрыть её я не знаю как.

Цитата: Sky-fi от 16-07-2019, 13:50:02
Должно сработать "Disallow: /portfolio$" или "Disallow: /portfolio/$", в зависимости от того, что идет в конце урла.
Однако, если страница www.my-site.com/portfolio уже в поисковой выдаче - лучше использовать мета-тег, так как запрет в роботсе не удалит страницу из выдачи.Если у вас стоит seo-плагин (напр. Yoast или AIO) - в админке перейдите на редактирование страницы и в seo настройках установите запрет на индексацию.
« Последнее редактирование: 16-07-2019, 14:13:34 от xan »
Записан

Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3781
  • Сообщений: 5409
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3781
    • Сообщений: 5409
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Частный SEO оптимизатор Sky-fi
Re: Редактирование файла robots.txt
« Ответ #3 : 16-07-2019, 14:24:48 »
Цитата: xan от 16-07-2019, 14:08:01
Если адрес www.my-site.com/portfolio, то что нужно писать?
Disallow: /portfolio$
Но если страница доступна по адресу со слешем в конце и без него - придется прописать оба правила.

Цитата: xan от 16-07-2019, 14:08:01
в настройках темы задаётся только название этого раздела (portfolio, project и т.д.), это меня и парит. Поэтому и тегами закрыть её я не знаю как.
Как вариант, можно поискать в папке темы вывод шаблона этой страницы, и там уже по коду думать, как закрыть.
Записан

Оффлайн xanАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 4
  • Сообщений: 23
  • Карма: 0
  • Пол: Мужской
    • Рекламная фотостудия, профессиональная фотосъемка в Минске

Оффлайн xanАвтор темы

  • Рекрут
  • *
Re: Редактирование файла robots.txt
« Ответ #4 : 16-07-2019, 14:33:47 »
Благодарю! Думал уже про шаблон этой страницы, он есть, но там только нужный фрагмент из <body>, который выводит все проекты списком.
 
Цитата: Sky-fi от 16-07-2019, 14:24:48
Disallow: /portfolio$
Но если страница доступна по адресу со слешем в конце и без него - придется прописать оба правила.
Как вариант, можно поискать в папке темы вывод шаблона этой страницы, и там уже по коду думать, как закрыть.
Записан

Оффлайн artur2k

  • Бизнес оценка: (1, 100%)
  • Пользователь
  • **
  • СПАСИБО: 33
  • Сообщений: 51
  • Карма: 6

Оффлайн artur2k

  • Пользователь
  • **
Re: Редактирование файла robots.txt
« Ответ #5 : 17-07-2019, 19:49:44 »
Чтобы не потерять вес ссылок на те страницы, что уже проиндексировались я бы прописал в шаблоне WP следующий код:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.или даже лучше rel canonical
« Последнее редактирование: 17-07-2019, 19:51:39 от artur2k »
Записан
Инструменты seoшника https://artur2k.ru/tools/

Оффлайн xanАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 4
  • Сообщений: 23
  • Карма: 0
  • Пол: Мужской
    • Рекламная фотостудия, профессиональная фотосъемка в Минске

Оффлайн xanАвтор темы

  • Рекрут
  • *
Re: Редактирование файла robots.txt
« Ответ #6 : 17-07-2019, 22:36:00 »
я так понимаю, что эта команда назначает noindex при условии равности ссылки адресу site.com/portfolio ?
Цитата: artur2k от 17-07-2019, 19:49:44
Чтобы не потерять вес ссылок на те страницы, что уже проиндексировались я бы прописал в шаблоне WP следующий код:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.или даже лучше rel canonical
Записан

Оффлайн artur2k

  • Бизнес оценка: (1, 100%)
  • Пользователь
  • **
  • СПАСИБО: 33
  • Сообщений: 51
  • Карма: 6

Оффлайн artur2k

  • Пользователь
  • **
Re: Редактирование файла robots.txt
« Ответ #7 : 17-07-2019, 23:31:43 »
Этот тег будет проставлен на все страницы с url-адресом оканчивающимся на "portfolio"
Записан
Инструменты seoшника https://artur2k.ru/tools/

Оффлайн iProger

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 48
  • Сообщений: 171
  • Карма: 4
  • Пол: Мужской

Оффлайн iProger

  • Постоялец
  • ***
Re: Редактирование файла robots.txt
« Ответ #8 : 18-07-2019, 02:10:24 »
А может лучше закрыть список проектов на главной?
https://yandex.ru/support/webmaster/adding-site/indexing-prohibition.html#indexing-prohibition__content
В итоге у обоих страниц получится уникальный контент.
Записан

Оффлайн artur2k

  • Бизнес оценка: (1, 100%)
  • Пользователь
  • **
  • СПАСИБО: 33
  • Сообщений: 51
  • Карма: 6

Оффлайн artur2k

  • Пользователь
  • **
Re: Редактирование файла robots.txt
« Ответ #9 : 18-07-2019, 11:58:17 »
Цитата: iProger от 18-07-2019, 02:10:24
А может лучше закрыть список проектов на главной?
https://yandex.ru/support/webmaster/adding-site/indexing-prohibition.html#indexing-prohibition__content
В итоге у обоих страниц получится уникальный контент.
Тег <noindex> не работает для Google (для гугла есть <!--googleoff: all-->), да и реализация этого намного сложнее чем мой пример выше.
+ у второй страницы не будет никакого контента, где тут уникальность?
Записан
Инструменты seoшника https://artur2k.ru/tools/
Страниц: [1] 2   Вверх
« предыдущая тема следующая тема »
 

Похожие темы

  Тема / Автор Ответов Последний ответ
5 Ответов
1747 Просмотров 		Последний ответ 26-10-2013, 22:28:51
от jeekka
21 Ответов
3054 Просмотров 		Последний ответ 25-03-2015, 07:48:56
от Rencontrez
4 Ответов
1598 Просмотров 		Последний ответ 04-12-2015, 00:13:59
от Вадим Костин
6 Ответов
1680 Просмотров 		Последний ответ 28-01-2016, 16:57:24
от TextMonster
5 Ответов
2490 Просмотров 		Последний ответ 15-08-2018, 23:54:45
от vold57