Воскресенье, 21 Июнь 2015

Передача PaPaYa №39

Новости

Витамин Д в таблетках для мужчин — обзор препаратов
Главная задача витамина Д — это сотрудничество с кальцием для построения костной ткани. Делает это витамин по средствам улучшения всасываемости кальция и фосфора в кишечнике, увеличения их уровня. В мужском

Киви - витаминная бомба
Киви содержит полезные вещества, которые активно стимулируют и быстро «поднимают» организм Врачи по праву считают киви настоящей витаминной бомбой, поскольку в нем содержится очень много полезных компонентов.

Витамины в спортивном питании
20 июня 2018 г. Что такое витамины ? Витамины – это вещества, которые производятся из витаминсодержащего сырья (как растительного, так и животного происхождения), а также вещества, созданные искусственно

Симптомы авитаминоза, причины и лечение


Витамины для стройности


Как сберечь витамины в ягодах?
Каждый знает, что ягоды являются природным источником витаминов – дары природы содержат богатую гамму полезных элементов. Как сберечь витамины в ягодах? Сайт mir-yagod.ru даст ряд ценных рекомендаций.

Самые полезные зимой витамины для организма
       С наступлением холодов, а зима в наших широтах в последние годы наступает рано, организм человека нуждается в дополнительных источниках витаминов и минеральных веществ. С ветрами,

Витамины для ногтей — чтобы ручки выглядели красиво!
Ухоженные руки – эти визитная карточка каждого человека, но, к сожалению, не всегда наши ручки выглядят идеально: морозы, несбалансированное питание и лень дают о себе знать. Но если за кожей мы еще хоть

Витамины для роста детям
Еще нужно учитывать и такой момент: если родители имеют средние показатели роста (160 – 175 см), то ожидать в семье будущего баскетболиста вряд ли разумно. Показатель роста ребенка заложен генетически

Какие витамины жизненно необходимы - Центр Космоэнергетики и Рэйки ИСИДА
Давно известно, что без витаминов нормальная жизнедеятельность человеческого организма невозможна. Какие же витамины и в каких количествах человеку необходимо получать ежедневно? Витамин А (аксерофтол,

Новости партнеров

Кризис трехлетнего возраста: бороться или мириться...

Ваш малыш, еще вчера такой послушный и покладистый, вдруг начинает вести себя необычно.Подробнее (http://www.prostobaby.com.ua/zdorove/psihologiya/stati/krizis_trehletnego_vozrasta_borotsya_ili_miritsya)

Боремся с лактостазом: памятка кормящей маме...

Грудное вскармливание – чудесный период единения мамы и малыша. Но это замечательное время бывает омрачено различными проблемами с молочной железой,...

Дородовое воспитание: ждем и обучаем

Дородовое воспитание: ждем и обучаем...

Во время беременности будущего малыша можно не только любить, ждать, общаться с ним и всячески оберегать – его, как бы...

Как настроить теги Robots.txt и Meta Robots: краткое руководство

  1. Что такое Robots.txt?
  2. Что скрывать с Robots.txt
  3. Как использовать Robots.txt
  4. Что такое мета-роботы?
  5. Как использовать мета-теги роботов?
  6. Основные мета-роботы Теги Параметры
  7. Основные правила настройки тегов Robots.txt и Meta Robots
  8. Robots.txt
  9. Заключение

Цифровые маркетологи и профессионалы SEO знают, насколько важна индексация поисковых систем. Именно поэтому они делают все возможное, чтобы Google правильно сканировал и индексировал свои сайты, вкладывая время и ресурсы в оптимизацию на странице и вне ее, такую ​​как контент, ссылки, теги, метаописания, оптимизация изображения , структура сайта и так далее.

Но, хотя нельзя отрицать, что первоклассная оптимизация веб-сайтов является основой успеха в поиске, забывать о техническая часть SEO может быть серьезной ошибкой Если вы никогда не слышали о robots.txt, тегах мета-роботов, XML-картах сайтов, микроформатах и ​​тегах X-Robot, у вас могут возникнуть проблемы.

Не паникуйте, хотя. В этой статье я расскажу, как использовать и настраивать теги robots.txt и meta robots. Я собираюсь привести несколько практических примеров. Давайте начнем!

Что такое Robots.txt?

Robots.txt - это текстовый файл, который используется для инструктирования роботов поисковых систем (также известных как сканеры, роботы или пауки), как сканировать и индексировать страницы сайта. В идеале файл robots.txt помещается в каталог верхнего уровня вашего веб-сайта, чтобы роботы могли сразу получить доступ к его инструкциям.

Для передачи команд различным поисковым сканерам файл robots.txt должен соответствовать определенным стандартам, указанным в Протокол исключения роботов (REP), который был создан еще в 1994 году, а затем существенно расширен в 1996, 1997 и 2005 годах.

На протяжении всей своей истории файлы robots.txt постепенно совершенствовались для поддержки определенных директив искателя, расширений URI-шаблонов, директив индексатора (также известных как теги REP или метатеги роботов) и микроформата rel = «nofollow».

Поскольку файлы robots.txt предоставляют поисковым роботам указания о том, как сканировать или как не сканировать ту или иную часть веб-сайта, очень важно знать, как использовать и настраивать эти файлы. Если файл robots.txt настроен неправильно, это может привести к множественным ошибкам индексации. Итак, каждый раз, когда вы начинаете новую SEO-кампанию, проверяйте файл robots.txt с помощью Google текстовые инструменты роботов ,

Не забывайте: если все правильно, файл robots.txt ускорит процесс индексации.

Что скрывать с Robots.txt

Файлы Robots.txt могут использоваться для исключения определенных каталогов, категорий и страниц из поиска. Для этого используйте директиву disallow.

Вот некоторые страницы, которые вы должны скрыть, используя файл robots.txt:

  • Страницы с дублированным содержанием
  • Страницы нумерации страниц
  • Динамические страницы товаров и услуг
  • Страницы аккаунта
  • Страницы администратора
  • Корзина
  • Чаты
  • Страницы благодарности

В основном это выглядит так:

В основном это выглядит так:

В приведенном выше примере я указываю роботу Googlebot избегать сканирования и индексации всех страниц, связанных с учетными записями пользователей, корзиной и несколькими динамическими страницами, которые создаются, когда пользователи ищут товары в панели поиска или сортируют их по цене и т. Д.

Тем не менее, не забывайте, что любой файл robots.txt общедоступен в Интернете. Чтобы получить доступ к файлу robots.txt, просто введите:

www.website-example.com/robots.txt

Эта доступность означает, что вы не можете защитить или скрыть какие-либо данные в нем. Более того, плохие роботы и злоумышленники могут воспользоваться файлом robots.txt, используя его в качестве подробной карты для навигации по вашим наиболее ценным веб-страницам.

Также имейте в виду, что команды robots.txt на самом деле являются директивами . Это означает, что поисковые роботы могут сканировать и индексировать ваш сайт, даже если вы запретите им. Хорошая новость заключается в том, что большинство поисковых систем (таких как Google, Bing, Yahoo и Yandex) соблюдают директивы robots.txt.

Файлы Robots.txt определенно имеют недостатки. Тем не менее, я настоятельно рекомендую вам сделать их неотъемлемой частью каждой SEO-кампании. Google признает и соблюдает директивы robots.txt, и, в большинстве случаев, иметь Google под вашим контролем более чем достаточно.

Как использовать Robots.txt

Файлы Robots.txt довольно гибки и могут использоваться разными способами. Однако их основное преимущество заключается в том, что они позволяют экспертам по SEO «разрешать» или «запрещать» несколько страниц одновременно, не имея доступа к коду каждой страницы, одну за другой.

Например, вы можете заблокировать все поисковые роботы из контента. Как это:

Пользователь-агент: * Disallow: /

Или скрыть структуру каталогов вашего сайта и определенные категории, например так:

Пользовательский агент: * Disallow: / no-index /

Также полезно исключить несколько страниц из поиска. Просто проанализируйте URL-адреса, которые вы хотите скрыть от поисковых роботов. Затем добавьте команду «disallow» в ваш robots.txt, перечислите URL и, вуаля! - страницы больше не видны для Google.

Однако более важно то, что файл robots.txt позволяет вам расставлять приоритеты для определенных страниц, категорий и даже фрагментов кода CSS и JS. Посмотрите на пример ниже:

Посмотрите на пример ниже:

Здесь мы запретили страницы WordPress и определенные категории, но файлы wp-контента, плагины JS, стили CSS и блог разрешены. Такой подход гарантирует, что пауки сканируют и индексируют полезный код и категории, из первых рук.

Еще одна важная вещь: файл robots.txt является одним из возможных мест для вашего файла sitemap.xml. Его следует размещать после команд User-agent, Disallow, Allow и Host. Как это:

Примечание. Вы также можете добавить свой файл robots.txt вручную в консоль поиска Google и, если вы настроите таргетинг на Bing, инструменты Bing для веб-мастеров. Это гораздо более безопасный подход, так как этим вы защищаете свой контент от копирования веб-мастерами сайтов-конкурентов.

Несмотря на то, что структура и настройки файла robots.txt довольно просты, правильно настроенный файл может создать или разрушить вашу SEO-кампанию. Будьте осторожны с настройками: вы можете легко «запретить» весь ваш сайт по ошибке, а затем ждать трафика и клиентов безрезультатно.

Что такое мета-роботы?

Тэги мета-роботов (тэги REP) - это элементы директивы индексатора, которые сообщают поисковым роботам, как сканировать и индексировать определенные страницы на вашем сайте. Они позволяют профессионалам SEO ориентироваться на отдельные страницы и инструктировать сканеров, что нужно делать, а что нет.

Как использовать мета-теги роботов?

Метатеги-теги довольно просты в использовании.

Во-первых , не так много тэгов REP. Есть только четыре основных параметра тега:

  • следить
  • Индекс
  • Не следует
  • Noindex

Во-вторых , настройка мета-роботов не займет много времени. В четыре простых шага вы можете поднять процесс индексации вашего сайта на новый уровень:

  1. Получите доступ к коду страницы, нажав CTRL + U.
  2. Скопируйте и вставьте часть <head> кода страницы в отдельный документ.
  3. Предоставьте пошаговые инструкции для разработчиков, использующих этот документ. Сосредоточьтесь на том, как, где и какие теги мета-роботов вставлять в код.
  4. Убедитесь, что разработчик правильно реализовал теги. Я рекомендую использовать The Screaming Frog SEO Spider для этого.

На приведенном ниже снимке экрана показано, как могут выглядеть теги мета-роботов (проверьте первую строку кода):

На приведенном ниже снимке экрана показано, как могут выглядеть теги мета-роботов (проверьте первую строку кода):

В-третьих , мета-роботы распознаются основными поисковыми системами: Google, Bing, Yahoo и Yandex. Вам не нужно настраивать код для каждой отдельной поисковой системы или браузера (если только они не поддерживают определенные теги).

Основные мета-роботы Теги Параметры

Как я упоминал выше, есть четыре основных параметра тега REP: follow, index, nofollow и noindex. Вот как вы можете их использовать:

  • index, follow: позволить поисковым роботам индексировать страницу и переходить по ее ссылкам
  • noindex, nofollow: запретить поисковым роботам индексировать страницу и переходить по ее ссылкам
  • index, nofollow: разрешить поисковым системам индексировать страницу, но скрывать ее ссылки от поисковых пауков
  • noindex, follow: исключить страницу из поиска, но разрешить переход по ее ссылкам (соки ссылок помогают увеличить результаты поиска)

Параметры тега REP могут отличаться. Вот некоторые из редко используемых:

  • никто
  • noarchive
  • nosnippet
  • unavailabe_after
  • noimageindex
  • NoCache
  • NOODP
  • notranslate

Мета-роботы теги необходимы, если вам нужно оптимизировать определенные страницы. Просто получите доступ к коду и проинструктируйте разработчиков, что делать.

Если ваш сайт работает на продвинутой CMS (OpenCart, PrestaShop) или использует определенные плагины (например, WP Yoast), вы также можете вставить метатеги и их параметры прямо в шаблоны страниц. Это позволяет покрывать несколько страниц одновременно, не обращаясь к разработчикам за помощью.

Основные правила настройки тегов Robots.txt и Meta Robots

Знание того, как настроить и использовать файл robots.txt и мета-теги robots, чрезвычайно важно. Одна ошибка может означать смерть всей вашей кампании.

Я лично знаю нескольких специалистов по цифровому маркетингу, которые месяцами занимались SEO, чтобы понять, что их сайты закрыты от индексации в robots.txt. Другие настолько злоупотребляли тегом «nofollow», что массово теряли обратные ссылки.

Работа с файлами robots.txt и тегами REP довольно техническая, что может привести к множеству ошибок. К счастью, есть несколько основных правил, которые помогут вам успешно их реализовать.

Robots.txt

  1. Поместите файл robots.txt в каталог верхнего уровня кода своего веб-сайта, чтобы упростить сканирование и индексацию.
  2. Правильно структурируйте robots.txt, например: User-agent → Disallow → Allow → Host → Sitemap. Таким образом, пауки поисковых систем получают доступ к категориям и веб-страницам в соответствующем порядке.
  3. Убедитесь, что каждый URL, который вы хотите «Разрешить:» или «Запретить:», размещен в отдельной строке. Если в одной строке отображается несколько URL-адресов, у сканеров возникнут проблемы с доступом к ним.
  4. Используйте строчные буквы, чтобы назвать ваш robots.txt. Наличие «robots.txt» всегда лучше, чем «Robots.TXT». Кроме того, имена файлов чувствительны к регистру.
  5. Не разделяйте параметры запроса пробелами. Например, запрос строки, такой как «/ cars / / audi /», может вызвать ошибки в файле robots.txt.
  6. Не используйте специальные символы, кроме * и $. Другие персонажи не распознаются.
  7. Создайте отдельные файлы robots.txt для разных поддоменов. Например, «hubspot.com» и «blog.hubspot.com» имеют отдельные файлы с директивами, специфичными для каталогов и страниц.
  8. Используйте #, чтобы оставлять комментарии в вашем файле robots.txt. Сканеры не распознают строки с символом #.
  9. Не полагайтесь на robots.txt в целях безопасности. Используйте пароли и другие механизмы безопасности, чтобы защитить ваш сайт от взлома, взлома и мошенничества с данными.

Мета роботы теги

  1. Будьте чувствительны к регистру. Google и другие поисковые системы могут распознавать атрибуты, значения и параметры как в верхнем, так и в нижнем регистре, и вы можете переключаться между ними, если хотите. Я настоятельно рекомендую придерживаться одного варианта, чтобы улучшить читаемость кода.
  2. Избегайте нескольких тегов <meta>. Делая это, вы избежите конфликтов в коде. Используйте несколько значений в вашем теге <meta>. Например: <meta name = «robots» content = «noindex, nofollow»>.
  3. Не используйте конфликтующие метатеги, чтобы избежать ошибок при индексации. Например, если у вас есть несколько строк кода с метатегами, такими как <meta name = «robots» content = «follow»> и это <meta name = «robots» content = «nofollow»>, будет взят только «nofollow» в учетную запись. Это потому, что роботы ставят ограничительные значения в первую очередь.

Примечание. Вы можете легко реализовать на своем сайте теги robots.txt и мета-роботов. Однако будьте осторожны, чтобы избежать путаницы между ними.

Основное правило здесь - ограничительные значения имеют прецедент. Итак, если вы «разрешаете» индексирование определенной страницы в файле robots.txt, но случайно «noindex» ее в <meta>, пауки не будут индексировать страницу.

Также помните: если вы хотите давать инструкции специально для Google, используйте <meta> «googlebot» вместо «robots». Например: <meta name = «googlebot» content = «nofollow»>. Это похоже на «роботов», но избегает всех других поисковых роботов.

Заключение

Поисковая оптимизация касается не только ключевых слов, ссылок и контента. Техническая часть SEO также важна. На самом деле, это может иметь значение для всей вашей цифровой маркетинговой кампании. Таким образом, узнайте, как правильно использовать и настроить файлы robots.txt и мета-теги robots как можно скорее. Я надеюсь, что методы и предложения, которые я опишу в этой статье, помогут вам в этом процессе.

Кредиты изображений

Популярное изображение: Rawpixel / DepositPhotos

Скриншоты Сергея Грибняка. Принятый февраль 2017