Случается, что нам желательно частично или полностью запретить индексацию стороны. как только можно, вы не хотите образования пропаганды, справок или различных страничек, показывающих ответы поиска. Для того, чтобы повлиять на индексацию страниц, существую различные системы. Попробуем их рассмотреть ниже для поисковых систем Яндекс и Google. Прежде всего запретить индексации можно с помощью файла robotstxt. Который позволяет ограничить доступ роботов-поисковиков к некоторым страницам сайта. К примеру, чтобы создать файл, запрещающий доступ всех роботов к скрипту гондолы в Интернет- магазине пишут программу, какая будет выглядеть грядущим образом:
User-agent
disallow: /basketphp
В Яндексе роботу поисковой системы можно указывать главное зеркало сайта, и просто оно будет показываться, как ответ поиска Это связано с тем, что система Яндекс поддерживает установку Host в файлах robotstxt. Если Вы хотите, чтобы центральным был домен wwwsiteru, а именно он указывается в схеме, например:
User-agentYandex: / disallow: /forum / hostwwwsiteru: на случай если желаете сделать центральным домен siteru. Тогда прямо его и указывайте после host, это будет вышдядеть сопутствующим образом: « User-agentYandex: / disallow: /forum / host: siteru»
Можно Использовать и другие директивы, не только Host, но и SSI и делать так, чтобы роботы обходили все хосты, кроме заданных, как например User-agent: wwwsiteru. / disallow: / В этом примере прописан запрет на все хосты, кроме wwwsiteru Поисковая Система Яндекс несравненно понимает и консорциум Тег noindex, хотя бы он до сих пор и не признан официально.
Чтобы запретить индексацию какой-либо модули документа, noindex с обеих сторон закрывается тегами С Текстовыми файлами robotstxt у поисковой системы Google ситуация, сходная Яндексу, кроме директивы Host Запретить Поисковой схеме перейти по какой-либо справке, можно используя rel="nofollow". Этот атрибут поддерживается программами MSN и Yahoo.
В Google можно установить контроль за некоторыми модулями страниц или блочоков ссылок Используя теги, googleoff/googleon. Сделать это довольно легко, если только вы не хотите, чтобы индексировалось какое-либо слово, как например Мерседес во слове, «автомобили Мерседес желательно продаются», вы пишите автомобили ‹—googleoff: index--›Мерседес‹—googleon: index--› желательно продаются. В этом случае проиндексируются все красивые слова, кроме, Мерседес. Подобным образом между показывающими и скрывающими тегами можно разместить какую-нибудь формулировку или слово, какого не будет заметно в ответах поиска К сожалению теги googleoff/googleon не актуальны для постоянной поисковой системы google, а работают только для Google Search Appliance и Google Mini. Существуют теги, которые очень хорошм для службы web – мастеров разрабатывающих и распределяющих раскрутку на своих сайтах, к таким тегам можно отнести google_ad_section_start и google_ad_section_end.
Это лишь несколько методов, допускающих влиять на индексацию страниц в Яндекс и Google.
|
