Новости: Действительно ли Гугль игнорирует robots.txt? .:: CodingRUS ::. программирование по-русски на Delphi, C++, PHP, Prolog, GPSS

Услуги

• Автоматическое добавление статей на сайты на Wordpress, Joomla, DLE
• Заказать продвижение сайта
• Программа для рисования блок-схем
• Инженерный калькулятор онлайн
• Таблица сложения онлайн

Популярные статьи

OpenGL и Delphi...		65535
Форум на вашем ...		65535
21 ошибка прогр...		65535
HACK F.A.Q		65535
Бип из системно...		65535
Гостевая книга ...		65535
Invision Power ...		65535
Пример работы с...		65535
Содержание сайт...		65535
ТЕХНОЛОГИИ ДОСТ...		65535
Организация зап...		65535
Вызов хранимых ...		65535
Создание отчето...		65535
Имитационное мо...		65535
Программируемая...		65535
Эмулятор микроп...		65535
Подключение Mic...		65535
Создание потоко...		65535
Приложение «Про...		65535
Оператор выбора...		65535

Сейчас на сайте

Гостей: 6
На сайте нет зарегистрированных пользователей

Пользователей: 13,372

новичок: vausoz

Новости

Выполняем курсовые и лабораторные по разным языкам программирования
Подробнее - курсовые и лабораторные на заказ
Delphi, Turbo Pascal, Assembler, C, C++, C#, Visual Basic, Java, GPSS, Prolog, 3D MAX, Компас 3D
Заказать программу для Windows Mobile, Symbian

Выбор наилучших альтернатив с использованием методов оптимизации на Delp...

Поиск пути в графе заданном списками инцедентности на Turbo Pascal

Моделирование работы перекрёстка по регулированию движения на GPSS + Поя...

Deprecated: Function eregi() is deprecated in /home/codingr/sites/codingrus.ru/side_left.php on line 41 Deprecated: Function eregi() is deprecated in /home/codingr/sites/codingrus.ru/side_left.php on line 41

Действительно ли Гугль игнорирует robots.txt?

Западные вебмастера не раз отмечали, что боты Google игнорируют инструкции, прописанные в файле robots.txt. Почему страницы, закрытые от индексации, появляются в выдаче Google? Ответить на данный вопрос решил сам Мэтт Каттс (Matt Cutts), руководитель группы Google Webspam, хорошо знакомый с данной ситуацией.

По его словам, большинство обращений вебмастеров одного содержания, а именно: после того как страница example.com/go была закрыта от индексации в robots.txt, в результатах поиска Google может появиться URL данной страницы, но без сниппета. На последнем Каттс особо акцентирует внимание вебмастеров и отмечает: «Так происходит именно потому, что Google не обходит закрытую страницу».

Зачастую информация о таких закрытых страницах присутствует в каталогах или на других ресурсах, именно они становятся источниками данных для Google. Т.е. если страница закрыта от индексации, Google не будет ее индексировать. Ссылка на нее берется из Сети, однако сама страница не обходится поисковым роботом.

«Подобные страницы не ищутся по точному вхождению текста, по title, в кэше пусто. Однако такое положение дел мешает тем, что любая служебная страница, скажем site.com/admin/password, может быть найдена таким образом», - комментирует ситуацию Роман Вилявин, заместитель директора по продвижению в западном сегменте, компания Promodo.

Для того чтобы служебные и другие страницы не появлялись в SERP, Мэтт Каттс советует использовать мета-тэг "noindex", либо инструмент URL removal tool в том случае, если она уже там.

Kest October 10 2009 20:59:01 · 0 Комментариев · 7410 Прочтений ·

Комментарии

Нет комментариев.

Добавить комментарий

Рейтинги

Рейтинг доступен только для пользователей.

Пожалуйста, залогиньтесь или зарегистрируйтесь для голосования.

Нет данных для оценки.

Гость

Вы не зарегистрированны?
Нажмите здесь для регистрации.

Забыли пароль?
Запросите новый здесь.

Поделиться ссылкой

• Фолловь меня в Твиттере! • Смотрите канал о путешествиях • Как приготовить мидии в тайланде?

Загрузки

Новые загрузки

Случайные загрузки

Топ загрузок

Приложение Клие...	100774
Delphi 7 Enterp...	97843
Converter AMR<-...	20268
GPSS World Stud...	17020
Borland C++Buil...	14195
Borland Delphi ...	10302
Turbo Pascal fo...	7376
Калькулятор [Ис...	5987
Visual Studio 2...	5207
Microsoft SQL S...	3661