Нужно ли в robots.txt оставлять ссылку на html карту сайта?

Автор Deerol, 14-12-2018, 17:22:41

« назад - далее »

DeerolTopic starter

Здравствуйте. Наткнулся на такой robots.txt - https://imgur.com/a/0rXeQOI.

Вопрос: нужно ли в robots.txt оставлять ссылки на карты сайта в html и txt формате?
  •  


Sky-fi

Ссылку на html карту вставлять в роботс не нужно, а про txt карту впервые слышу.


Megoydagi

Цитата: Sky-fi от 14-12-2018, 22:03:44Ссылку на html карту вставлять в роботс не нужно, а про txt карту впервые слышу.

карта сайта походу

vold57

Цитата: Deerol от 14-12-2018, 17:22:41
Здравствуйте. Наткнулся на такой robots.txt - https://imgur.com/a/0rXeQOI.

Вопрос: нужно ли в robots.txt оставлять ссылки на карты сайта в html и txt формате?
Просмотрите robots.txt сотни сайтов и напишите, во многих ли видели ссылки на карты в txt формате. Ну а, вообще, txt формат это html карта - http://prntscr.com/lv7wi7.

TDSko

Кроме ссылки на .xml файл в robots.txt ничего указывать не нужно. Суть работы этого файла аналогичен html карте сайта, но быстрее индексируется и передает информацию о новых страницах поисковым роботам. html карта сайта сейчас уже кстати не очень-то и нужна, это больше отголосок 2009-20012.


andrey_levchuk

Не нужно, карта должна быть в xml. Но я видел на одной конфе дорвейщик рассказывал, что вместо xml создает txt по 50 тыс. строк и нормально заходят в индекс, инфо не проверял, кроме того нужно же не статическую карту сделать, а чтобы при появлении новых страниц или изменения текущих она обновлялась, поэтому нужно xml.
  •