+380 (44) 383-27-92 +380 (93) 502-15-28 – Индивидуальный подход к SEO и созданию сайтов
+380 (97) 943-28-33 +380 (50) 071-31-92    г. Киев, бул. Леси Украинки, 26, оф. 804

Советы по корректному использованию файла robots.txt.itstudio

Почему рекомендуется использовать именно robots.txt? Он понадобится для закрытия всего сайта и в процессе его разработки. Так же он полезен для того, чтобы в индекс не проникло ничего лишнего. Поможет закрыть сайт от левых поисковиков.

 К примеру, сайтам Рунета нет никакого смысла показываться в Yahoo! Если этот поисковик не содержит целевой аудитории, можно смело закрывать для него сайт, чтобы не нагружать лишний раз свои сервера.

Для эффективного закрытия приватных разделов от взора робота.

Чтобы защитить приватные данные (номера кредитных карт, пароли, сообщения пользователей) от попадания в индекс. Хотя, конечно, логично было бы вообще не открывать подобные разделы сайта.

Чтобы снять нагрузку с сервера. Если, например, на вашем наиболее популярном сайте содержится много функционала для сортировки товаров, или какие-либо фильтры, требующие больших затрат серверных ресурсов, можно попросту не пускать робота к таким страницам, чтобы минимизировать нагрузку. Хотя, логичнее было бы сделать такой функционал невидимым для робота в CMS, чем потом перекладывать ответственность на robots.txt.

Для чего лучше не использовать robots.txt?

С целью закрытия индексации страниц сортировки, пейджинга, поиска.

От возможных дублей лучше избавляться используя CMS, к примеру, 301 редиректом, rel=canonical (тегом, специально созданным для этих целей), 404 ошибкой, или же мета тегом robots noindex.

Чтобы удалять уже существующие в индексе страницы.

Частой ошибкой вебмастеров является попытка удалить страницы из индекса при помощи роботса. В таком случае поисковый робот не сможет провести переиндексацию страницы и удалить её, если доступ к ней будет закрыт через роботс.

Чтобы закрыть админ-панель.

Путь к ней виден в роботс.

Для закрытия прочих страниц, которые вы по каким-либо причинам не хотите видеть в индексе.

Для этого лучше использовать любые другие методы.

 

Еще статьи по теме: Раскрутка и продвижение сайта

© 2013-2017 ITStudio. Все права защищены