RiveSolutions SEO Spider

Автор AndrAscii, 17-06-2018, 17:20:06

« назад - далее »

AndrAsciiTopic starter

Коллеги, здравствуйте!
Я разработчик команды RiveSolutions Team.
Представляю вашему вниманию программу RiveSolutions SEO Spider.
Сейчас проходит бета тестирование программы. Время бета тестирования неопределенно.
Это значит, что вы можете абсолютно бесплатно использовать программу со всем имеющимся функционалом.
Но вы можете поддержать нас как разработчиков, оформив предзаказ на 2 года вперед за 100$.
Также мы надеемся на то, что вы будете оставлять отзывы и предлагать свои улучшения.

И так, далее список с кратким описанием основных возможностей программы.

Основные возможности:

  • Ресурсы сайта - на странице "Все ресурсы" проводится разбиение ссылок по типам ресурсов (html, css, js, image, flash, video, images и т.д.), а также разбиение на внутренние и внешние ресурсы.
  • Обновление страниц - есть возможность обновления данных страниц, чтобы динамически просматривать внесенные вами изменения прямо в процессе анализа сайта!
  • Создание XML карты сайта.
  • Экспорт в excel в один клик.
  • Сохранение состояния анализа сайта для продолжения анализа с той же точки!
  • В программе есть уникальная возможность создания PDF отчета о проведенном техническом анализе сайта.

В программе все данные представлены в виде фильтров.
Это очень удобное разбиение анализируемых параметров.
Каждый фильтр отображает страницы, как группу, например "Дубликаты title" - в этом фильтре будет собрана группа ссылок, дублирующих значение тега "title".
Каждый фильтр можно экспортировать в excel для составления ТЗ технарям по дальнейшей работе с сайтом в один клик.

Список анализируемых параметров:


  • URL - адрес страницы
  • Битые ссылки - поиск битых ссылок с кодом ответа 4хх.
  • Проблемы сервера - поиск ссылок с кодом ответа 5хх.
  • LinkCanonical – определяется наличие атрибута rel="canonical" и на какой адрес он указывает.
  • Ответ – все коды состояния HTTP в ответе сервера.
  • Title – тег "title", расположенный в контейнере "head", который определяет заголовок документа.
  • Description – содержание мета-тега, отвечающего за краткое описание содержимого веб-страницы.
  • Keywords – содержание мета-тега, отвечающего за ключевые слова, встречаемые на веб-странице. Добавлен для справки, т.к. гугл и яндекс не используют его.
  • Редиректы - определяется редирект со страницы, их количество, выводится адрес редиректа, а также происходит обработка страницы редиректа.
  • Заголовки (H1) - количество заголовков первого уровня, а также их пропуск и дубликаты.
  • Заголовки (H2) - количество заголовков второго уровня, а также их пропуск и дубликаты.
  • Ссылки с этой страницы – количество исходящих ссылок с данной страницы в пределах всего сайта.
  • Ссылки на эту страницу – количество входящих ссылок на данную страницу в пределах всего сайта.
  • Внутренние ссылки – количество ссылок с конкретной страницы на сканируемый сайт.
  • Внешние ссылки – количество ссылок с конкретной страницы на другие сайты.
  • Дубли по Title – определяются группы страниц с дублирующимся тегом "title".
  • Дубли по Description – определяются группы страниц с дублирующимся мета-тегом "description".
  • Дубли по Keywords – определяются группы страниц с дублирующимся мета-тегом "keywords".
  • Пропуск Title – определяются группы страниц с отсутствующим или пустым тегом "title".
  • Пропуск Description – определяются группы страниц с отсутствующим или пустым мета-тегом "description".
  • Пропуск Keywords – определяются группы страниц с отсутствующим или пустым мета-тегом "keywords".
  • Несколько Title – определяются группы страниц с наличием 2 и более тегов "title".
  • Несколько Description – определяются группы страниц с наличием 2 и более мета-тегов "description".
  • Несколько Keywords – определяются группы страниц с наличием 2 и более мета-тегов "keywords".
  • Регулировка длины - можно регулировать длину title, desciption, keywords, h1, h2, атрибут alt изображений.
  • Битые изображения - поиск и выделение битых изображений.
  • Атрибут alt изображений - поиск изображений с пустым или отсутствующим атрибутом alt.
  • Meta refresh - определяется наличие meta refresh тега на страницах сайта.
  • Фреймы - определяется наличие фреймов на страницах сайта.

Закрытые от индексации страницы.
В программе имеются фильтры, в которых собраны все ссылки на страницы, закрыте от индексации по определенному критерию.

Вот эти критерии:

  • robots.txt – определяется, разрешена (allowed) или запрещена (disallowed) индексация страницы поисковыми системами в файле robots.txt.
  • Meta Robots - по наличию мета-тега "robots" определяется доступность для индексации страницы. А также разрешен переход по ссылкам на ней или нет.
  • X-Robots-Tag - аналогично Meta Robots, но определение идет на основе заголовка ответа сервера.
  • rel="nofollow" - по атрибутам тега "a" определяется доступность для индексации ссылки на страницу поисковыми системами.

Основные настройки.

Настройки краулера:

  • Вкл/выкл переход по внешним ссылкам.
  • Вкл/выкл переход по внутренним nofollow ссылкам.
  • Вкл/выкл переход по внешним nofollow ссылкам.
  • Вкл/выкл учет canonical страниц.
  • Вкл/выкл переход по адресам поддоменов.
  • Анализ страниц за пределами стартовой папки - помогает ограничить круг ссылок для анализа. Например если вам нужно анализировать ссылки только в определенной папке.
  • Выбор робота, правилам которого следовать при учете robots.txt и meta robots.
  • Вкл/выкл проверку изображений.
  • Вкл/выкл проверку CSS.
  • Вкл/выкл проверку JavaScript.

Отключение анализируемых параметров приведет к ускорению процесса анализа сайта.

Настройки паузы между запросами:
На некоторых сайтах есть защита от частых запросов. При которых включается блoкировка.
На этот счет предусмотрено задание паузы между запросами, которая задается в виде диапазона.
Например от 1 секунды до 10 секунд.
Пауза каждый раз будет выбираться случайно для эмуляции человеческого поведения.

Настройки профиля вашей компании:

  • Есть возможность задать имя вашей компании, ее email и адрес вашей компании.
  • Эти данные будут фигурировать как подпись для сгенерированного вами PDF отчета об аудите, который обычно показывают заказчику.
  • Этот данные будут служить визитной карточкой для ваших клиентов.

Настройки лимитов:

  • Максимальная длина ссылки для краулинга - краулер не станет переходить по ссылкам длиннее указанного числа символов. (в разработке)
  • Ограничение количества ссылок для загрузки - краулер не станет загружать больше указанного числа ссылок с сайта. (в разработке)
  • Максимальный таймаут - краулер будет обрывать соединение для загрузки ссылок, превышающие заданный в миллисекундах таймаут.
  • Максимальное количество цепочки редиректов - краулер не станет переходить по цепочке редиректов превышающие указанное число.
  • Максимальное количество ссылок на одной странице - страницы с превышающим заданным вами числом будут попадать в фильтр "Слишком много ссылок на одной странице".

Настройки параметров размера/длины:

  • Минимальная/максимальная длина description - ссылки меньше заданной длины попадут в фильтр "Слишком короткие Meta Description", ссылки превышающие заданную длину попадут в фильтр "Слишком длинные Meta Description".
  • Минимальная/максимальная длина title - ссылки меньше заданной длины попадут в фильтр "Слишком короткие title", ссылки превышающие заданную длину попадут в фильтр "Слишком длинные title".
  • Максимальная длина H1 - ссылки больше заданной длины попадут в фильтр "Слишком длинные H1".
  • Максимальная длина H2 - ссылки больше заданной длины попадут в фильтр "Слишком длинные H2".
  • Максимальный размер страницы в киллобайтах - страницы превышающие заданное число будут попадать в фильтр "Страницы больше N кб". (в разработке)
  • Максимальный размер изображения в киллобайтах - изображения превышающие заданное число будут попадать в фильтр "Изображения больше N кб". (в дорабатывается)
  • Максимальная длина alt атрибута изображения - изображения, где атрибут alt превышает заданное макс. значение попадают в фильтр "Изображения с длинным alt атрибутом".

Для каждого из этих критериев вы можете задать собственные значения и видеть в выдаче ссылки на страницы, выходящие за рамки заданного вами диапазона.

Настройки прокси:

  • Есть возможность использовать прокси для краулинга сайта.
  • Поддерживаются прокси с авторизацией. Можно использовать, в случае, если вас все же заблoкировали за частые запросы.

Настройки User Agent:

  • Можно настроить User Agent как мобильный, так и десктопный.
  • Есть заранее определенные строки для User Agent.

У нас есть онлайн доска с известными проблемами, а также фичами, которые находятся в процессе разработке.
Там вы можете видеть, над чем идет работа. А также рекомендовать нам ваши улучшения.
Мы открыты и слушаем всех, возможно, что именно ваши улучшения будут реализованы и вы увидите их воплощение в на реальном примере.
Доска находится здесь: https://trello.com/b/6yoC35b0/rivesolutions-seospider

Советы по улучшению можете оставлять сюда:

  • apugachev@rivesolutions.com, pugachev.andrey.work@gmail.com
  • писать из программы через окно фидбека: Помощь => Отправить отзыв.
  • вконтакте: https://vk.com/id51469449
  • по skype: andrascii

Скачать программу можно на сайте http://rivesolutions.com

А также и по прямым ссылкам:
OS Windows 7 x64 и старше: http://rivesolutions.com/downloads/win/x64/dist/seospiderinstaller-offline.exe
OS Windows 7 x86 и старше: http://rivesolutions.com/downloads/win/x86/dist/seospiderinstaller-offline.exe

Будущий функционал и функционал в разработке:

  • перевод на русский язык (в активной разработке, будет в скором времени).
  • поиск по фрагментам кода на страницах сайта.
  • возможность задания цвета для разных проблемных критериев сайта, вы сможете в списке всех страниц сайта сразу увидеть искомый параметр. Это будет удобным дополнением к фильтрам.
  • древовидное отображение сайта.
  • поле для поиска конкретных страниц.
  • ну и конечно исправление багов, крашей и прочих недоработок.

Добавлено: 17-06-2018, 17:22:38


И да, уважаемая администрация и модерация.
Я знаю, что вы можете посчитать это рекламой.
Но мы ничего не продаем.
Просто пытаемся найти людей, кому понравится то, что мы делали целый год и все вложения были исключительно из собственного кармана.
Но самое ценное, что мы вложили - это год жизни!

Добавлено: 18-06-2018, 11:49:36


Вышло обновление 1.0.2

Изменения:


  • добавлен частичный перевод на русский язык
  • убрано ограничение задания максимального размера страницы на сайте
  • доделана опция задания таймаута для запросов
  • убрано отображение пустых полей в фильтре "Пустые meta description"
  • унифицировано затенение фона при показе диалогов
Достаточно просто запустить программу, далее программа обнаружит наличие обновлений и попросит обновиться сама.
  •  


borzoid

#1
AndrAscii, Спасибо!
Попробуем затестить

Добавлено: 18-06-2018, 16:42:21


Очень понравилась реализация и набор параметров.
Сразу ошибки - не видит тайтлы там где они есть.



Добавлено: 18-06-2018, 16:43:49


То же и с заголовками.
не ругается на изображения. Все меньше 100 кб.
параметр верно подобран и я согласен с ним и старался таки оптимизировать изображения именно таким образом, но несколько больших графических файлов все же есть. Программа не увидела этого

Добавлено: 18-06-2018, 16:46:51


Вывод: пока программа точно парсит структуру, код ответа сервера и длину урла. остальное пока не видит


AndrAsciiTopic starter

Цитата: borzoid от 18-06-2018, 16:35:58
AndrAscii, Спасибо!
Попробуем затестить

Добавлено: 18-06-2018, 16:42:21


Очень понравилась реализация и набор параметров.
Сразу ошибки - не видит тайтлы там где они есть.



Добавлено: 18-06-2018, 16:43:49


То же и с заголовками.
не ругается на изображения. Все меньше 100 кб.
параметр верно подобран и я согласен с ним и старался таки оптимизировать изображения именно таким образом, но несколько больших графических файлов все же есть. Программа не увидела этого

Добавлено: 18-06-2018, 16:46:51


Вывод: пока программа точно парсит структуру, код ответа сервера и длину урла. остальное пока не видит

Здравствуйте  :)

Спасибо, что скачали!

Скажите, а какой конкретно сайт вы пытались проверить?
Протестируем на вашем сайте, посмотрим в чем дело и выкатим обновление с фиксом.
  •  

AndrAsciiTopic starter

Вышло обновление 1.0.3

Изменения:


  • улучшена стабильность работы программы
  • исправлена ошибка, при которой можно было заблoкировать пользовательский интерфейс нажав кнопку остановки краулинга, когда он уже остановлен
  • исправлены ошибки с декодированием страниц
  • улучшена стабильность работы "скриншотилки" страниц сайтов
  • реализована опция "Не переходить по ссылкам длиннее указанного количества символов", настройкка доступна на страницы лимитов
  • реализована опция задания максимальной длины цепочек редиректов
  • добавлен новый фильтр для страниц с цепочками редиректов длиннее указанной вами
  • добавлен фильтр для страниц превышающим таймаут заданный вами, теперь сразу можно экспортировать проблемные страницы подобного рода
  • улучшено создание дампов памяти процесса в случае краша, что поможет нам чаще вносить полезные фиксы по стабильности работы программы
  • исправлена ошибка неправильного обновления программы для версии х86
  • исправлены проблемы парсинга, из-за которых при некоторых ситуациях не "выпарсивались" заголовки страниц
  • убраны пустые колонки в таблицах, они просто не имеют смысла и отвлекают от работы
  • доделана опция Limit Search Total, теперь вы сможете задавать ограничение количества ссылок для парсинга с сайта
  • фильтры на подобии "Broken Links" экспортируются вместе со ссылками, ссылающимися на битые ссылки для удобства
Достаточно просто запустить программу, далее программа обнаружит наличие обновлений и попросит обновиться сама.

Не хватает в работе какой-то фичи в работе? Не стесняйся предложить её реализацию нам:

  • по почте: apugachev@rivesolutions.com
  • вконтакте: https://vk.com/public167900805
  • по skype: andrascii
Узнай над чем мы сейчас работаем: https://trello.com/b/6yoC35b0/rivesolutions-seospider
  •  

Yama

Уважаемый ТС, вы как то оценивали перспективы окупаемости проекта? Год работы... Вы делаете, как я понимаю, прогу похожую на лягушку, сову и еще несколько по функционалу? Что отличает вашу или будет отличать? Как зарабатывать планируете, если планируете?

P.S. Я всегда ЗА тех кто зарабатывает мозгами, но в чем тут супер-идея??


AndrAsciiTopic starter

Цитата: Yama от 08-07-2018, 23:41:30
Уважаемый ТС, вы как то оценивали перспективы окупаемости проекта? Год работы... Вы делаете, как я понимаю, прогу похожую на лягушку, сову и еще несколько по функционалу? Что отличает вашу или будет отличать? Как зарабатывать планируете, если планируете?

P.S. Я всегда ЗА тех кто зарабатывает мозгами, но в чем тут супер-идея??

Это должно ответить на вопрос: https://www.topseos.com/rankings-and-reviews-of-best-seo-software
На счет отличий: По мнению пользователей мы УЖЕ сделали как минимум интерфейс удобней чем в том же скриминг фроге.
Далее естественно будут отличия в функционале и количистве проверяемых ошибок.

Например сейчас есть возможность проверки правильной настройки 404 страницы, что попадает в отчет.
Далее, помимо проверки на странице счетчика Google Analytics, добавится еще и проверка Яндекс Метрика.

Это только часть.
Но по большому счету в первую очередь мы прислушиваемся к пользователям, смотрим в чем заключаются их проблемы и решаем их.
Идеи нередко поступают именно от них, мы же их уже реализуем.
  •  

AndrAsciiTopic starter

Вышло обновление 1.0.4

Изменения:


  • Исправлено некорректное изменение ширины колонок таблиц при включении сортировки по колонкам
  • Исправлен баг с серыми иконками описывающих проблемы сайта и отображаемые в фильтрaх. Теперь все красиво
  • Исправлен баг с некорректным обновлением данных таблицы фильтров
  • Добавлены дополнительные проверки кодировки страниц
  • Исправлен баг с отображением сетки таблицы. В этом пункте теперь все тоже красиво =)
  • Улучшено быстродействие отрисовки таблиц за счет "умного кеширования картинок"
  • Исправлен баг с невозможностью открытия страницы в браузере по клику на соответствующую картинку в таблице
  • Исправлен баг с неотображающимися данными в таблицах "Ссылки на эту страницу", "Ссылки на этой страницы" и "HTTP ответ сервера"
  • Исправлен баг с появляющимся окном screenshotmaker'a, теперь скриншот сайта делается "тихо"
  • Убрано ограничение максимального значения опции "Limit maximum URI length to crawl" на странице настроек "Limit Settings"
  • Пофикшен краш при закрытии диалогов с помощью ALT + F4
  • Также пофикшены прочие краши от пользователей
Достаточно просто запустить программу, далее программа обнаружит наличие обновлений и попросит обновиться сама.

Не хватает в работе какой-то фичи в работе? Не стесняйся предложить её реализацию нам:

  • по почте №1: apugachev@rivesolutions.com
  • по почте №2: ekushnarev@rivesolutions.com
  • по почте №3: kchetverikov@rivesolutions.com
  • по почте №4: feedback@rivesolutions.com
  • вконтакте: https://vk.com/public167900805
  • по skype: andrascii
  • или просто через окно отзывов в программе "Help" => "Send Feedback"
Узнай над чем мы сейчас работаем: https://trello.com/b/6yoC35b0/rivesolutions-seospider
  •  

AndrAsciiTopic starter

Вышло обновление 1.0.5

Изменения:

  • Исправлена ошибка рефреша nofollow страниц
  • Исправлено отображение IP-адреса хоста по клику на "Show other domains or IP"
  • Теперь на каждой странице программы отображаются вспомогательные таблицы "Links to this page" /"Links on this page"/"HTTP
    Response", показывающие ссылки на странице, на страницу и код заголовки ответа сервера при загрузке выбранной страницы
  • Программа переведена на русский язык на 99%
  • Исправлена ширина некоторых колонок в таблицах для русской локализации программы
  • Исправлено сворачивание программы в трей
  • Добавлен виджет поиска страниц в таблицах. Теперь найти конкретные страницы сайта в определенных фильтрaх стало еще проще
  • Исправление крашей

Достаточно просто запустить программу, далее программа обнаружит наличие обновлений и попросит обновиться сама.
Если вы еще не установили программу, то загрузить ее можно по ссылкам:
x64 windows 7 и выше - http://rivesolutions.com/downloads/win/x64/dist/seospiderinstaller-offline.exe
x86 windows 7 и выше - http://rivesolutions.com/downloads/win/x86/dist/seospiderinstaller-offline.exe
Или на официальном сайте - http://rivesolutions.com


Не хватает в работе какой-то фичи в работе? Не стесняйся предложить её реализацию нам:

  • по почте №1: apugachev@rivesolutions.com
  • по почте №2: ekushnarev@rivesolutions.com
  • по почте №3: kchetverikov@rivesolutions.com
  • по почте №4: feedback@rivesolutions.com
  • вконтакте: https://vk.com/public167900805
  • по skype: andrascii
  • или просто через окно отзывов в программе "Help" => "Send Feedback"
Узнай над чем мы сейчас работаем: https://trello.com/b/6yoC35b0/rivesolutions-seospider
  •  


AndrAsciiTopic starter

Вышло обновление 1.0.6

Изменения:


  • Добавлена уникальная функция Яндекс Метрика Finder
  • Исправлен баг с невозможностью запустить краулинг с помощью второй кнопки Enter на клавиатуре
  • Исправлен размер текста в настройках для удобства чтения параметров
  • Немножко отредактирована страница настроек прокси. Некоторые контролы перемещены вправо
  • Исправление крашей
  • Программа полностью переведена на русский язык
Главная фишка этого обновления -  Яндекс Метрика Finder

Яндекс Метрика Finder позволяет Вам определить, действительно ли Вы получаете полную статистику по посещаемости сайта из Яндекс Метрики.
Достигается это, за счет поиска конкретных счетчиков Яндекс Метрики на страницах Вашего сайта.
Все, что Вам нужно сделать - включить функцию поиска счетчиков и ввести номер счетчика для поиска!

Жизненный пример

Да, у нас есть ранние бета тестеры, которые получают сборки RiveSolutions SEO Spider для разработчиков.
Они успели прoтестировать эту фишку.
Нам запомнился пример одного интернет магазина.
На котором по странным причинам из всего десяти тысяч (цифрами 10000!) страниц, на четырех тысячах (цифрами 4000!)
не был установлен счетчик Яндекс Метрики.
В результате владельцы интернет магазина банaльно получали неверную статистику посещаемости!


Достаточно просто запустить программу, далее программа обнаружит наличие обновлений и попросит обновиться сама.
Если вы еще не установили программу, то загрузить ее можно по ссылкам:
x64 windows 7 и выше - rivesolutions.com/downloads/win/x64/dist/seospiderinstaller-offline.exe
x86 windows 7 и выше - rivesolutions.com/downloads/win/x86/dist/seospiderinstaller-offline.exe
Или на официальном сайте - rivesolutions.com


Не хватает в работе какой-то фичи в работе? Не стесняйся предложить её реализацию нам:

  • по почте №1: apugachev@rivesolutions.com
  • по почте №2: ekushnarev@rivesolutions.com
  • по почте №3: kchetverikov@rivesolutions.com
  • по почте №4: feedback@rivesolutions.com
  • вконтакте: vk.com/public167900805
  • по skype: andrascii
  • или просто через окно отзывов в программе "Help" => "Send Feedback"
Узнай над чем мы сейчас работаем: trello.com/b/6yoC35b0/rivesolutions-seospider
Также мы предлагаем Вам вступить в нашу группу вконтакте vk.com/public167900805
  •  


Leekun

#9
Здравствуйте.
Решил установить программу.
Вот что написали http://joxi.ru/12ME30nhMLaP52

Скачивал x64 windows 7 и выше - rivesolutions.com/downloads/win/x64/dist/seospiderinstaller-offline.exe

Добавлено: 24-09-2018, 02:13:21


Не хватает справки для некоторых настроек (или вообще сделали бы у всех пунктов) http://joxi.ru/MAjQxXDi4aMlW2

Добавлено: 24-09-2018, 02:17:47


ошибка в тексте http://joxi.ru/Rmz1LlDc0OB49r

Добавлено: 24-09-2018, 17:09:36


Так же неудобно что при сканировании нового сайта нужно лезть в настройки и вводить новый номер счетчика. Вынестите пожалуйста куда нибудь на первый экран