Robots.txt, метатег Robots, X-Robots Tag: встряхнутый, не перемешанный

Мы все стремимся к тому, чтобы контент наших веб-сайтов был лучше представлен в Интернете, в противном случае мы все не были бы так заинтересованы в SEO и Link-Assistant.Com группа преданных клиентов по всему миру ,

Однако иногда мы бы предпочли скрыть некоторые веб-страницы от индексации и включения в SERP. Например, вы определенно предпочли бы, чтобы ваши клиенты сначала прочитали коммерческую копию, а не сразу отправили ее в корзину. Или может быть некоторая конфиденциальная информация, предназначенная только для внутреннего использования, которая не защищена для входа в систему для удобства пользователей. Или вы можете избежать индексации дублированного контента (печатных версий или HTML-страниц).

Распространенным способом управления индексацией является запись файлов robots.txt.

Тем не менее, это не универсальное решение. Иногда robots.txt-защищенный контент или сами файлы robots.txt будет обнародован.

Когда-то у Link-Assistant.Com возникла небольшая проблема с индексацией Google содержимого нашего веб-сайта, не предназначенного для индексации, что заставило нас применять более сложные методы.

В этой статье мы хотели бы рассказать вам о различных типах протокола исключения роботов (REP) и о лучших способах их объединения, чтобы скрыть то, что вы действительно хотите скрыть.

Robots.txt

Файлы robots.txt содержат инструкции для сканеров поисковых систем по доступу к определенным частям контента. Чаще всего они запрещают показ непубличного контента в результатах поиска. Пример файла robots.txt:

Пользователь-агент: Googlebot

Disallow: /

Это означает, что весь сайт закрыт для робота под названием «Googlebot».

Кстати, основные роботы включают Googlebot (Google), Slurp (Yahoo!), msnbot (MSN) и TEOMA (Ask). Вы можете обратиться ко всем роботам с помощью символа звездочки (*).

В следующем примере показано, как запретить всем роботам индексировать определенную страницу (my_file.html):

Пользователь-агент: *

Disallow: /my_file.html

Для большего количества примеров, есть более глубокий взгляд на robots.txt ,

Неисследованные URL-адреса в поисковой выдаче

Многие веб-мастера жалуются на то, что Google часто показывает в своих результатах поиска контент, защищенный robots.txt. Как бы удивительно это ни звучало, согласно Мэтт Каттс , это не значит, что Google либо нарушает robots.txt, либо фактически сканирует эти страницы.

Когда робот Googlebot останавливается файлом robots.txt, он действительно не переходит на страницу. Даже если робот не сканирует и не индексирует страницу, он просто знает об отсканированной ссылке на URL, о тексте привязки и обо всех веб-сайтах, указывающих на него. Если существует достаточное количество обратных ссылок и якорей, соответствующих поисковым запросам, веб-страница попадет в поисковую систему. Однако, поскольку робот Googlebot не сканировал его, он, вероятно, не содержал бы фрагмента, а заголовок представлял собой смесь ссылающихся якорных текстов.

Таким образом, основным ограничением robots.txt является то, что хотя они контролируют сканирование и индексацию, они не гарантируют, что веб-страница не будет отображаться в результатах поиска.

Роботы Мета тег

Если вы не хотите, чтобы страница отображалась в результатах поиска, лучше всего использовать метатег noindex в верхней части страницы. Когда сканер видит тег noindex, он полностью удаляет страницу из результатов поиска.

<meta name = "robots" content = "noindex">

Если вы не хотите, чтобы поисковая система следовала по ссылкам с определенной страницы, добавьте тег nofollow:

<meta name = "robots" content = "nofollow">.

Другие директивы мета-тегов роботов включают архив / noarchive, сниппет / nosnippet и unavailable_after.

Основное ограничение метатегов роботов заключается в том, что, хотя они контролируют сканирование, индексирование, кэширование и фрагменты, они работают только для файлов HTML.

Тег X-Robots

Теги X-robots , также известные как заголовки REP, используются для управления индексацией файлов, отличных от HTML : PDF, Word doc, zip и т. Д. Если вы хотите запретить поисковым системам отображать документ в результатах поиска, добавить директиву тегов X-robots в заголовок HTTP, используемый для обслуживания файла ,

Например, директива

X-Robots-Tag: noindex

означает, что документ должен быть исключен из результатов поиска Google.

Отслеживание протокола исключения роботов

Обновленный Аудитор сайта SEO-инструмент, ориентированный на анализ веб-сайтов и оптимизацию контента, позволяет отслеживать директивы протокола исключения роботов. Отныне на странице SEO-отчета Аудитора веб-сайта имеется колонка Инструкции роботов и показано, разрешена ли индексация определенной страницы анализируемого веб-сайта.

Суть

• Использование протокола исключения роботов служит не только для сокрытия некоторой конфиденциальной информации. Он также может быть использован для целей SEO, а именно для того, чтобы сделать семантическое ядро ​​более компактным и ограничить количество страниц для индексации. На каждом веб-сайте есть SEO-неважные страницы, такие как календарь с помеченными событиями или политика конфиденциальности в нижнем колонтитуле, которую веб-мастер не хочет видеть в результатах поиска и которая отвлекает сканеров от ключевого контента сайта. Поэтому просто пишите метатеги роботов (для HTML-страниц) и теги X-роботов (для всех остальных) с директивой noindex, чтобы предотвратить попадание нецелевых страниц в SERP.

• При желании можно использовать robots.txt, метатег robots и тег X-robots, вы также можете запросить удаление из индекса с помощью Инструмент для удаления URL Google ,

• Если вы действительно хотите скрыть некоторые конфиденциальные данные, не полагайтесь исключительно на протокол исключения роботов, используйте надежные алгоритмы авторизации. Похоже, что половина того, что говорит Мэтт Каттс, - это пропаганда Google, поэтому вы никогда не знаете, что они на самом деле получили в своем индексе.

Похожие

Комментарии