Автор Тема: Не учитывает robots.txt  (Прочитано 12529 раз)

Sterh

  • Page Weight
  • Завсегдатай
  • *****
  • Сообщений: 124
    • Просмотр профиля
Не учитывает robots.txt
« : 13.11.2012, 17:45:43 »
Программа поддерживает robots.txt согласно стандартам.
Возможно использование user agent Яндекса, Google и PageWeight
Т.е. программа будет видеть ваш сайт глазами того робота, которого вы укажете.
По умолчанию стоит user agent PageWeight

Основная причина того, что программа игнорирует ваш robots - это использование установок по умолчанию. Т.е. программа представляется своим именем, и следует дерективам для user agent PageWeight, которых в вашем роботсе нет.

Для того, что бы сканирование прошло так, как ожидается, измените в настройках user agent PageWeight на *
« Последнее редактирование: 14.11.2012, 00:38:43 от Sterh »

seoteh

  • Новичок
  • Сообщений: 3
    • Просмотр профиля
Re: Не учитывает robots.txt
« Ответ #1 : 14.11.2012, 11:30:53 »
-программа не учитывает robots использовал все user agent'ы
-программа не учитывает nofollow на внешнии ссылки, хотя "игонорировать nofollow" галочка не стоит
-если указать сканирование список страниц, сканер не работает, просто висит, хотя программа работает
PS создайте тему для багов
« Последнее редактирование: 14.11.2012, 11:49:18 от seoteh »

Sterh

  • Page Weight
  • Завсегдатай
  • *****
  • Сообщений: 124
    • Просмотр профиля
Re: Не учитывает robots.txt
« Ответ #2 : 14.11.2012, 11:56:39 »
Последняя директива у Вас в роботсе
Allow:    /
отменяет все вышестоящие


seoteh

  • Новичок
  • Сообщений: 3
    • Просмотр профиля
Re: Не учитывает robots.txt
« Ответ #3 : 14.11.2012, 13:08:42 »
1. по яндекс и гуглу валидатору всё ок
2. удалил строчку, всё ровно программа учитывает страницы

exp131

  • Page Weight
  • Завсегдатай
  • *****
  • Сообщений: 135
  • Разработчик
    • Просмотр профиля
    • Программа PageWeight
  • Skype: exp131
Re: Не учитывает robots.txt
« Ответ #4 : 14.11.2012, 14:26:52 »
2. удалил строчку, всё ровно программа учитывает страницы

Учитывает ссылки с закрытых страниц или на них? А так же что происходит при установленном флажке "Считать закрытые ссылки внешними"?

seoteh

  • Новичок
  • Сообщений: 3
    • Просмотр профиля
Re: Не учитывает robots.txt
« Ответ #5 : 15.11.2012, 12:02:07 »
на них, хотя стоит nofollow и robots прописан disallow, ставлю галочки учитывать закрытые ссылки внешними, но не работает всё ровно

Sterh

  • Page Weight
  • Завсегдатай
  • *****
  • Сообщений: 124
    • Просмотр профиля
Re: Не учитывает robots.txt
« Ответ #6 : 16.11.2012, 17:25:49 »
Можно мне в личку конкретные  страницы, с которой и на которую учитываются ссылки?

Sterh

  • Page Weight
  • Завсегдатай
  • *****
  • Сообщений: 124
    • Просмотр профиля
Re: Не учитывает robots.txt
« Ответ #7 : 19.11.2012, 10:47:49 »
Начиная с обновления 2.0.2 user agent по умолчанию *
так что подобных недопониманий должно стать меньше

Model

  • Новичок
  • Сообщений: 1
    • Просмотр профиля
Re: Не учитывает robots.txt
« Ответ #8 : 08.12.2012, 01:21:20 »
Вопрос такой:
Учитывает ли программа при переиндексации битых ссылок файл robot.txt?
Спрашиваю потому, что  после переиндексации 12 битых ссылок программа находит к 3000 URL уже проиндексированных еще 5000 URL, которые как раз в тех 12 битых линках, но которые запрещены для индексации в robot.txt.
Спасибо

Sterh

  • Page Weight
  • Завсегдатай
  • *****
  • Сообщений: 124
    • Просмотр профиля
Re: Не учитывает robots.txt
« Ответ #9 : 08.12.2012, 08:50:55 »
Вопрос такой:
Учитывает ли программа при переиндексации битых ссылок файл robot.txt?
Спрашиваю потому, что  после переиндексации 12 битых ссылок программа находит к 3000 URL уже проиндексированных еще 5000 URL, которые как раз в тех 12 битых линках, но которые запрещены для индексации в robot.txt.
Спасибо

Если я правильно понял, то 12 страниц содержит 5000 ссылок на страницы, запрещенные в роботс? Если так, то программа отработала верно. К индексации у Вас запрещены страницы, а не ссылки, ведущие на эти страницы. Программа обязана эти ссылки индексировать и учитывать при расчете аналогично внешним ссылкам, т.к. вес по ссылкам на страницы закрытые в роботс утекает в никуда.

info@ishodniki.ru

  • Новичок
  • Сообщений: 2
    • Просмотр профиля
Re: Не учитывает robots.txt
« Ответ #10 : 26.12.2013, 15:38:19 »
Программа понимает такой <!--noindex-->?

ivadms@gmail.com

  • Новичок
  • Сообщений: 2
    • Просмотр профиля
  • Skype: ivadms
Re: Не учитывает robots.txt
« Ответ #11 : 07.04.2014, 13:52:10 »
111
« Последнее редактирование: 07.04.2014, 14:04:21 от ivadms@gmail.com »

exp131

  • Page Weight
  • Завсегдатай
  • *****
  • Сообщений: 135
  • Разработчик
    • Просмотр профиля
    • Программа PageWeight
  • Skype: exp131
Re: Не учитывает robots.txt
« Ответ #12 : 07.04.2014, 14:00:35 »
Программа понимает такой <!--noindex-->?
NoIndex - запрещает индексацию анкоров. А наша программа расчитывает статический вес. Поэтому игнорирует эти теги, как не влияющие на на расчёт.

exp131

  • Page Weight
  • Завсегдатай
  • *****
  • Сообщений: 135
  • Разработчик
    • Просмотр профиля
    • Программа PageWeight
  • Skype: exp131
Re: Не учитывает robots.txt
« Ответ #13 : 07.04.2014, 14:01:02 »
Ставил всех агентов, проверял на доступность через яндекс вебмастер. Программа все равно проходит по страницам. Это так, и должно быть?
Сегодня до вечера будет обновление 2.3.3, обновитесь и попробуйте снова.

ivadms@gmail.com

  • Новичок
  • Сообщений: 2
    • Просмотр профиля
  • Skype: ivadms
Re: Не учитывает robots.txt
« Ответ #14 : 07.04.2014, 14:05:04 »
Спасибо=) обновление это хорошо и быстрый ответ радует.