+7 (495) 797-55-99 info@i-media.ru
495 748-54-59 Контакты
Мы работаем с 10:00 до 19:00,
а Контекст Мотор - круглосуточно!

Оставьте свой телефон и мы Вам
перезвоним.

Яндекс рассказал о распространенных ошибках, связанных с robots.txt

В каких случаях в результатах поиска могут оказаться веб-страницы, доступ к которым заблокирован с помощью файла robots.txt? На этот вопрос ответили в своем блоге специалисты службы поддержки Яндекса.

В компании признают, что «иногда страницы, файлы или документы, закрытые от индексирующих роботов в файле robots.txt, могут попасть в результаты поиска и стать доступными для пользователей поисковой системы». Однако подобные ситуации связаны с проблемами в robots.txt, в результате которых поисковый робот не может распознать и использовать адресованные ему указания.

Специалисты Яндекса рекомендуют учитывать при создании и настройке файла robots.txt следующие правила:

  • Файл может располагаться только в корневом каталоге сайта. Не следует размещать его в другой директории или на поддомене.

  • При обращении к файлу должен возвращаться код состояния 200. Любой другой код ответа HTTP или перенаправление означает, что поисковый робот не сможет получить содержимое файла.

  • Размер файла не должен быть больше 32 Кб. Если файл превышает этот объем, поисковый робот не учитывает содержащихся в нем указаний.

  • В ситуации, когда в файле установлены указания для разных поисковых ботов, робот Яндекса следует только тем, которые относятся к нему.

  • Если устанавливаемые файлом указания противоречат друг другу, поисковый робот следует тем, которые разрешают индексирование.

При соблюдении этих правил владельцы сайтов могут быть уверены, что все указания robots.txt будут учитываться и неуместный контент не появится в результатах поиска, подчеркивают в Яндексе. Специалисты компании также напоминают, что после редактирования файла robots.txt данные в поиске обычно обновляются в течение одной-двух недель.

 

06 марта 2015
comments powered by Disqus

Коммерческое предложение

Вас интересует:
Контекстная реклама Управление
репутацией
Поисковая
оптимизация (SEO)
Аудит сайтов
Веб-аналитика SMM и реклама
в социальных сетях
Продвижение
на прайс-площадках
Разработка сайта
Call Tracking Email-маркетинг

Ваши данные (* обязательно для заполнения)

Поделиться
Подписаться

Подпишитесь и ежемесячно получайте
лучшие материалы сайта
в информационном дайджесте i-Media

Что еще полезно знать по продвижению сайтов
Максим Рабовил менеджер по продажам
Позвоните:
+7 (495) 797-55-99
Напишите:


Отправьте заявку

Подписаться

Подпишитесь и ежемесячно получайте лучшие материалы сайта в информационном дайджесте
i-Media



COUNTER_LIVEINTERNET