- Что такое Robots.txt?
- Что скрывать с Robots.txt
- Как использовать Robots.txt
- Что такое мета-роботы?
- Как использовать мета-теги роботов?
- Основные мета-роботы Теги Параметры
- Основные правила настройки тегов Robots.txt и Meta Robots
- Robots.txt
- Заключение
Цифровые маркетологи и профессионалы SEO знают, насколько важна индексация поисковых систем. Именно поэтому они делают все возможное, чтобы Google правильно сканировал и индексировал свои сайты, вкладывая время и ресурсы в оптимизацию на странице и вне ее, такую как контент, ссылки, теги, метаописания, оптимизация изображения , структура сайта и так далее.
Но, хотя нельзя отрицать, что первоклассная оптимизация веб-сайтов является основой успеха в поиске, забывать о техническая часть SEO может быть серьезной ошибкой Если вы никогда не слышали о robots.txt, тегах мета-роботов, XML-картах сайтов, микроформатах и тегах X-Robot, у вас могут возникнуть проблемы.
Не паникуйте, хотя. В этой статье я расскажу, как использовать и настраивать теги robots.txt и meta robots. Я собираюсь привести несколько практических примеров. Давайте начнем!
Что такое Robots.txt?
Robots.txt - это текстовый файл, который используется для инструктирования роботов поисковых систем (также известных как сканеры, роботы или пауки), как сканировать и индексировать страницы сайта. В идеале файл robots.txt помещается в каталог верхнего уровня вашего веб-сайта, чтобы роботы могли сразу получить доступ к его инструкциям.
Для передачи команд различным поисковым сканерам файл robots.txt должен соответствовать определенным стандартам, указанным в Протокол исключения роботов (REP), который был создан еще в 1994 году, а затем существенно расширен в 1996, 1997 и 2005 годах.
На протяжении всей своей истории файлы robots.txt постепенно совершенствовались для поддержки определенных директив искателя, расширений URI-шаблонов, директив индексатора (также известных как теги REP или метатеги роботов) и микроформата rel = «nofollow».
Поскольку файлы robots.txt предоставляют поисковым роботам указания о том, как сканировать или как не сканировать ту или иную часть веб-сайта, очень важно знать, как использовать и настраивать эти файлы. Если файл robots.txt настроен неправильно, это может привести к множественным ошибкам индексации. Итак, каждый раз, когда вы начинаете новую SEO-кампанию, проверяйте файл robots.txt с помощью Google текстовые инструменты роботов ,
Не забывайте: если все правильно, файл robots.txt ускорит процесс индексации.
Что скрывать с Robots.txt
Файлы Robots.txt могут использоваться для исключения определенных каталогов, категорий и страниц из поиска. Для этого используйте директиву disallow.
Вот некоторые страницы, которые вы должны скрыть, используя файл robots.txt:
- Страницы с дублированным содержанием
- Страницы нумерации страниц
- Динамические страницы товаров и услуг
- Страницы аккаунта
- Страницы администратора
- Корзина
- Чаты
- Страницы благодарности
В основном это выглядит так:
В приведенном выше примере я указываю роботу Googlebot избегать сканирования и индексации всех страниц, связанных с учетными записями пользователей, корзиной и несколькими динамическими страницами, которые создаются, когда пользователи ищут товары в панели поиска или сортируют их по цене и т. Д.
Тем не менее, не забывайте, что любой файл robots.txt общедоступен в Интернете. Чтобы получить доступ к файлу robots.txt, просто введите:
www.website-example.com/robots.txt
Эта доступность означает, что вы не можете защитить или скрыть какие-либо данные в нем. Более того, плохие роботы и злоумышленники могут воспользоваться файлом robots.txt, используя его в качестве подробной карты для навигации по вашим наиболее ценным веб-страницам.
Также имейте в виду, что команды robots.txt на самом деле являются директивами . Это означает, что поисковые роботы могут сканировать и индексировать ваш сайт, даже если вы запретите им. Хорошая новость заключается в том, что большинство поисковых систем (таких как Google, Bing, Yahoo и Yandex) соблюдают директивы robots.txt.
Файлы Robots.txt определенно имеют недостатки. Тем не менее, я настоятельно рекомендую вам сделать их неотъемлемой частью каждой SEO-кампании. Google признает и соблюдает директивы robots.txt, и, в большинстве случаев, иметь Google под вашим контролем более чем достаточно.
Как использовать Robots.txt
Файлы Robots.txt довольно гибки и могут использоваться разными способами. Однако их основное преимущество заключается в том, что они позволяют экспертам по SEO «разрешать» или «запрещать» несколько страниц одновременно, не имея доступа к коду каждой страницы, одну за другой.
Например, вы можете заблокировать все поисковые роботы из контента. Как это:
Пользователь-агент: * Disallow: /
Или скрыть структуру каталогов вашего сайта и определенные категории, например так:
Пользовательский агент: * Disallow: / no-index /
Также полезно исключить несколько страниц из поиска. Просто проанализируйте URL-адреса, которые вы хотите скрыть от поисковых роботов. Затем добавьте команду «disallow» в ваш robots.txt, перечислите URL и, вуаля! - страницы больше не видны для Google.
Однако более важно то, что файл robots.txt позволяет вам расставлять приоритеты для определенных страниц, категорий и даже фрагментов кода CSS и JS. Посмотрите на пример ниже:
Здесь мы запретили страницы WordPress и определенные категории, но файлы wp-контента, плагины JS, стили CSS и блог разрешены. Такой подход гарантирует, что пауки сканируют и индексируют полезный код и категории, из первых рук.
Еще одна важная вещь: файл robots.txt является одним из возможных мест для вашего файла sitemap.xml. Его следует размещать после команд User-agent, Disallow, Allow и Host. Как это:
Примечание. Вы также можете добавить свой файл robots.txt вручную в консоль поиска Google и, если вы настроите таргетинг на Bing, инструменты Bing для веб-мастеров. Это гораздо более безопасный подход, так как этим вы защищаете свой контент от копирования веб-мастерами сайтов-конкурентов.
Несмотря на то, что структура и настройки файла robots.txt довольно просты, правильно настроенный файл может создать или разрушить вашу SEO-кампанию. Будьте осторожны с настройками: вы можете легко «запретить» весь ваш сайт по ошибке, а затем ждать трафика и клиентов безрезультатно.
Что такое мета-роботы?
Тэги мета-роботов (тэги REP) - это элементы директивы индексатора, которые сообщают поисковым роботам, как сканировать и индексировать определенные страницы на вашем сайте. Они позволяют профессионалам SEO ориентироваться на отдельные страницы и инструктировать сканеров, что нужно делать, а что нет.
Как использовать мета-теги роботов?
Метатеги-теги довольно просты в использовании.
Во-первых , не так много тэгов REP. Есть только четыре основных параметра тега:
- следить
- Индекс
- Не следует
- Noindex
Во-вторых , настройка мета-роботов не займет много времени. В четыре простых шага вы можете поднять процесс индексации вашего сайта на новый уровень:
- Получите доступ к коду страницы, нажав CTRL + U.
- Скопируйте и вставьте часть <head> кода страницы в отдельный документ.
- Предоставьте пошаговые инструкции для разработчиков, использующих этот документ. Сосредоточьтесь на том, как, где и какие теги мета-роботов вставлять в код.
- Убедитесь, что разработчик правильно реализовал теги. Я рекомендую использовать The Screaming Frog SEO Spider для этого.
На приведенном ниже снимке экрана показано, как могут выглядеть теги мета-роботов (проверьте первую строку кода):
В-третьих , мета-роботы распознаются основными поисковыми системами: Google, Bing, Yahoo и Yandex. Вам не нужно настраивать код для каждой отдельной поисковой системы или браузера (если только они не поддерживают определенные теги).
Основные мета-роботы Теги Параметры
Как я упоминал выше, есть четыре основных параметра тега REP: follow, index, nofollow и noindex. Вот как вы можете их использовать:
- index, follow: позволить поисковым роботам индексировать страницу и переходить по ее ссылкам
- noindex, nofollow: запретить поисковым роботам индексировать страницу и переходить по ее ссылкам
- index, nofollow: разрешить поисковым системам индексировать страницу, но скрывать ее ссылки от поисковых пауков
- noindex, follow: исключить страницу из поиска, но разрешить переход по ее ссылкам (соки ссылок помогают увеличить результаты поиска)
Параметры тега REP могут отличаться. Вот некоторые из редко используемых:
- никто
- noarchive
- nosnippet
- unavailabe_after
- noimageindex
- NoCache
- NOODP
- notranslate
Мета-роботы теги необходимы, если вам нужно оптимизировать определенные страницы. Просто получите доступ к коду и проинструктируйте разработчиков, что делать.
Если ваш сайт работает на продвинутой CMS (OpenCart, PrestaShop) или использует определенные плагины (например, WP Yoast), вы также можете вставить метатеги и их параметры прямо в шаблоны страниц. Это позволяет покрывать несколько страниц одновременно, не обращаясь к разработчикам за помощью.
Основные правила настройки тегов Robots.txt и Meta Robots
Знание того, как настроить и использовать файл robots.txt и мета-теги robots, чрезвычайно важно. Одна ошибка может означать смерть всей вашей кампании.
Я лично знаю нескольких специалистов по цифровому маркетингу, которые месяцами занимались SEO, чтобы понять, что их сайты закрыты от индексации в robots.txt. Другие настолько злоупотребляли тегом «nofollow», что массово теряли обратные ссылки.
Работа с файлами robots.txt и тегами REP довольно техническая, что может привести к множеству ошибок. К счастью, есть несколько основных правил, которые помогут вам успешно их реализовать.
Robots.txt
- Поместите файл robots.txt в каталог верхнего уровня кода своего веб-сайта, чтобы упростить сканирование и индексацию.
- Правильно структурируйте robots.txt, например: User-agent → Disallow → Allow → Host → Sitemap. Таким образом, пауки поисковых систем получают доступ к категориям и веб-страницам в соответствующем порядке.
- Убедитесь, что каждый URL, который вы хотите «Разрешить:» или «Запретить:», размещен в отдельной строке. Если в одной строке отображается несколько URL-адресов, у сканеров возникнут проблемы с доступом к ним.
- Используйте строчные буквы, чтобы назвать ваш robots.txt. Наличие «robots.txt» всегда лучше, чем «Robots.TXT». Кроме того, имена файлов чувствительны к регистру.
- Не разделяйте параметры запроса пробелами. Например, запрос строки, такой как «/ cars / / audi /», может вызвать ошибки в файле robots.txt.
- Не используйте специальные символы, кроме * и $. Другие персонажи не распознаются.
- Создайте отдельные файлы robots.txt для разных поддоменов. Например, «hubspot.com» и «blog.hubspot.com» имеют отдельные файлы с директивами, специфичными для каталогов и страниц.
- Используйте #, чтобы оставлять комментарии в вашем файле robots.txt. Сканеры не распознают строки с символом #.
- Не полагайтесь на robots.txt в целях безопасности. Используйте пароли и другие механизмы безопасности, чтобы защитить ваш сайт от взлома, взлома и мошенничества с данными.
Мета роботы теги
- Будьте чувствительны к регистру. Google и другие поисковые системы могут распознавать атрибуты, значения и параметры как в верхнем, так и в нижнем регистре, и вы можете переключаться между ними, если хотите. Я настоятельно рекомендую придерживаться одного варианта, чтобы улучшить читаемость кода.
- Избегайте нескольких тегов <meta>. Делая это, вы избежите конфликтов в коде. Используйте несколько значений в вашем теге <meta>. Например: <meta name = «robots» content = «noindex, nofollow»>.
- Не используйте конфликтующие метатеги, чтобы избежать ошибок при индексации. Например, если у вас есть несколько строк кода с метатегами, такими как <meta name = «robots» content = «follow»> и это <meta name = «robots» content = «nofollow»>, будет взят только «nofollow» в учетную запись. Это потому, что роботы ставят ограничительные значения в первую очередь.
Примечание. Вы можете легко реализовать на своем сайте теги robots.txt и мета-роботов. Однако будьте осторожны, чтобы избежать путаницы между ними.
Основное правило здесь - ограничительные значения имеют прецедент. Итак, если вы «разрешаете» индексирование определенной страницы в файле robots.txt, но случайно «noindex» ее в <meta>, пауки не будут индексировать страницу.
Также помните: если вы хотите давать инструкции специально для Google, используйте <meta> «googlebot» вместо «robots». Например: <meta name = «googlebot» content = «nofollow»>. Это похоже на «роботов», но избегает всех других поисковых роботов.
Заключение
Поисковая оптимизация касается не только ключевых слов, ссылок и контента. Техническая часть SEO также важна. На самом деле, это может иметь значение для всей вашей цифровой маркетинговой кампании. Таким образом, узнайте, как правильно использовать и настроить файлы robots.txt и мета-теги robots как можно скорее. Я надеюсь, что методы и предложения, которые я опишу в этой статье, помогут вам в этом процессе.
Кредиты изображений
Популярное изображение: Rawpixel / DepositPhotos
Скриншоты Сергея Грибняка. Принятый февраль 2017
Похожие
Что такое ключевая фраза |Вступление: Ключевое слово и ключевые фразы используются как синонимы. В этом сообщении мы дадим вам наиболее важную информацию о ключевых фраз Определение: значимая фраза в заголовке, предметных рубриках, примечаниях к содержанию, реферате или тексте записи в онлайн-каталоге или базе данных, которая может использоваться в качестве искать термин в свободном Что такое SEO Как мне использовать это умно как предприниматель?
Что такое SEO SEO расшифровывается как «Поисковая оптимизация» или: поисковая оптимизация. Это означает, что вы улучшаете свой веб-сайт, чтобы вас лучше находили в поисковых системах, таких как Google. Другими словами: вы можете использовать SEO для большей популярности вашего сайта, а для большего количества посетителей, которые становятся клиентами, оставьте Как настроить Google Analytics с помощью MonsterInsights
... что вам нужно сделать, это аутентифицировать его с помощью своей учетной записи Google. Список возможностей Простая установка благодаря интеграции с Google Analytics API: выполните аутентификацию, выберите сайт, который вы хотите отслеживать, и все готово. Этот плагин использует универсальный или асинхронный код отслеживания Google Analytics, самый быстрый и надежный код отслеживания Google Analytics. Дает вам метрики метрик посетителя прямо Robots.txt: понять, что это такое и как использовать его в своей стратегии SEO
... каким страницам или каталогам сайта они не должны обращаться. У него есть это имя, потому что программы, которые поисковые системы используют для поиска в Интернете, также называются роботами. И это только robots.txt, с которым роботы обращаются, прежде чем анализировать страницы сайта. Robots.txt совместим с самыми популярными поисковыми системами, у которых даже есть названия для соответствующих роботов. Робот Google - робот Google, Bing и Yahoo! это Бингбот Робот Прогноз CTR: что это такое и как это работает
CTR, или для тех из вас, кто плохо знаком с терминами интернет-маркетинга, Click Through Rate, является очень полезным показателем, на который мы в значительной степени полагаемся в мире Robots.txt, метатег Robots, X-Robots Tag: встряхнутый, не перемешанный
... robots.txt. Тем не менее, это не универсальное решение. Иногда robots.txt-защищенный контент или сами файлы robots.txt будет обнародован. Когда-то у Link-Assistant.Com возникла небольшая проблема с индексацией Google содержимого нашего веб-сайта, не предназначенного для индексации, что заставило нас применять более сложные методы. Что такое «позиция 0» и как она влияет на мой SEO?
Задумайтесь на минуту. Какова единственная цель поисковой системы? Цель поисковой системы - предоставить вам, пользователю, наиболее актуальную и ценную информацию, которая поможет вам принять решение или ответить на вопрос. Традиционно эта информация представлена в списке веб-сайтов, которые алгоритм Google представляет как лучшую информацию. За последние несколько лет Google (и Bing) хотели, чтобы пользователи оставались без присмотра. Они добавили обзоры, списки компаний и другие результаты Категории и теги в WordPress: как использовать их для SEO
... что это значит? Если кто-то посещает мой блог в первый раз и хочет читать статьи только из категории SEO, он может щелкнуть ссылку категории на боковой панели и прочитать все статьи, относящиеся к этой категории. Таким образом, категории помогают упорядочить ваши статьи, что делает их полезными как для посетителей, так и для поисковых систем, чтобы лучше понять организацию вашего контента. Такая чистая организация контента улучшает навигационную Что такое SEO и для чего оно?
... какой контент следует отслеживать, а какой нет. Избегайте использования элементов, которые не могут быть правильно проиндексированы поисковыми системами, такими как устаревшая технология Flash . Изучение ключевых слов и включение в видные области сайта. Включите обновляемый раздел новостей на веб-сайте для частого создания контента. Оригинальность содержания . Как Как измерить влияние SEO
Один из вопросов, которые я неизменно получаю после выступления с речью об измерении: «А как же SEO?» SEO означает «поисковая оптимизация». Посмотрите это Что такое SEO Виртуальный Аналитик / Помощник
Вы хотите, чтобы ваш сайт увеличил видимость в Интернете? Эффективная поисковая оптимизация является стратегической техникой успеха с помощь эксперта по поисковой оптимизации ,
Комментарии
Но как это выглядит на практике, и как вы можете гарантировать, что определяемые вами правила оптимизации могут быть легко реализованы на всем вашем сайте?Но как это выглядит на практике, и как вы можете гарантировать, что определяемые вами правила оптимизации могут быть легко реализованы на всем вашем сайте? Сайт T-Mobile является отличным примером. Посмотрите URL-адрес страницы поддержки Apple iPhone 6 компании: https://support.t-mobile.com/community/phones-tablets-devices/apple/iphone-6 Как настроить открытые теги графа?
Как настроить открытые теги графа? Добавьте следующую строку на свою HTML-страницу: <html xmlns: og = "http://ogp.me/ns#"> Добавьте метатеги с атрибутами свойства и содержимого в тег <head>, Короче говоря, что такое каналы органического маркетинга и как они работают?
Короче говоря, что такое каналы органического маркетинга и как они работают? Чак Айкенс, основатель, Том Девятый Органические каналы, как правило, считаются цифровым маркетингом, который включает расходы на рекламу или рекламу долларов. В отрасли это часто включает в себя поисковую оптимизацию (SEO), контент-маркетинг, социальные сети, авторитетный маркетинг, разработку контента и так далее. Каждый Но что именно представляет собой поисковая оптимизация и как вы можете использовать ее для достижения онлайн-целей вашей компании?
Но что именно представляет собой поисковая оптимизация и как вы можете использовать ее для достижения онлайн-целей вашей компании? Вы можете прочитать это ниже! Что такое поисковая оптимизация (SEO)? Поисковая оптимизация - это голландское название для поля Поисковая оптимизация. Хотя мы уже предприняли шаги, чтобы настроить его на стороне Google+, как отметили Энди и Крис, нам все равно приходилось использовать?
Хотя мы уже предприняли шаги, чтобы настроить его на стороне Google+, как отметили Энди и Крис, нам все равно приходилось использовать? Rel = author в каждом сообщении в блоге, чтобы Google знал, что я написал против одного из наших приглашенные блоггеры. Вид боли, да (я был вокруг Линдси Белл слишком долго)? Поэтому я решил установить плагин Yoast SEO, как предложил Кристофер, деактивировать SEO-пакет All-in-One и идти веселым Не знаете, что такое файлы журналов или почему и как они могут быть важны для повышения вашей органической производительности?
Не знаете, что такое файлы журналов или почему и как они могут быть важны для повышения вашей органической производительности? Пожалуйста, проверьте наше подробное руководство , Хорошо, так что с введениями давайте застрянем в ... Начиная Настройка сайта для сканирования упрощается за 4 простых шага, второй из которых включает возможность подключения данных из различных источников: Вы заметили, что категории и теги отличаются от тех, что были у меня в качестве постов и страниц?
Вы заметили, что категории и теги отличаются от тех, что были у меня в качестве постов и страниц? Это потому, что страницы категорий и тегов не имеют реального содержания. У них есть списки рассылок, поэтому я хочу, чтобы они имели преимущество, но в автоматическом режиме. Для тегов я только что установил мета-описание, чтобы добавить термин и добавить дополнительный текст, чтобы он сформировал полное предложение. Я сделал это, потому что я создаю теги на лету внутри сообщений. Так что лучше прекратите после 1400 слов или себя Что такое код?
Вы заметили, что категории и теги отличаются от тех, что были у меня в качестве постов и страниц? Это потому, что страницы категорий и тегов не имеют реального содержания. У них есть списки рассылок, поэтому я хочу, чтобы они имели преимущество, но в автоматическом режиме. Для тегов я только что установил мета-описание, чтобы добавить термин и добавить дополнительный текст, чтобы он сформировал полное предложение. Я сделал это, потому что я создаю теги на лету внутри сообщений. Значит ли это, что мы думаем, что вам не следует использовать файлы Sitemap для видео?
Значит ли это, что мы думаем, что вам не следует использовать файлы Sitemap для видео? Нет. Мы считаем, что всякий раз, когда вы можете отправлять информацию напрямую в Google о своем сайте через файл Sitemap, это будет полезно. При этом прямо сейчас мы не видим различий между двумя, но мы также видим почти немедленную индексацию и отображение миниатюры видео рядом с нашими списками в Google. Например, на нашем Плагин сделок Страница, Что такое SEO-оптимизация и что это на самом деле означает?
Что такое SEO-оптимизация и что это на самом деле означает? Как работает SEO оптимизация? Это все вопросы, с которыми я буду помогать вам в этом посте. SEO звучало для меня по-гречески! Когда я начал вести блог в Blogspot, я понятия не имел, что означает SEO (поисковая оптимизация рейтинга). Я никогда не слышал об этом термине раньше! Поэтому я сделал то, что многие из нас делают, когда мы впервые слышим новый термин, я притворился, что знаю, но на самом деле я понятия Что такое локальный SEO?
Что такое локальный SEO? Как следует из названия, это SEO с добавлением «местного». Это может показаться броским замечанием, в котором подчеркивается важность работы с «местным» как с самим собой. Не за что. Реальность такова, что местное SEO в значительной степени опирается на те же основы, что и «обычное» SEO, но оно также имеет некоторые очень специфические нюансы, которые требуют индивидуального внимания. Прежде чем мы углубимся в подробности, вот что мы имеем в виду под
Txt?
Как использовать мета-теги роботов?
Txt?
Что такое мета-роботы?
Как использовать мета-теги роботов?
Что такое «позиция 0» и как она влияет на мой SEO?
Какова единственная цель поисковой системы?
О это значит?
Но как это выглядит на практике, и как вы можете гарантировать, что определяемые вами правила оптимизации могут быть легко реализованы на всем вашем сайте?
Как настроить открытые теги графа?