Люди часто совершают ошибку, концентрируясь на SEO-доработке отдельной статьи, не учитывая, что каждый фрагмент контента является частью гораздо большей сети публикаций и встроен в более сложный сайт. Структура блога или сайта – это элемент, который может способствовать или препятствовать его сканированию поисковыми системами: упорядоченная, понятная и простая структура на самом деле помогает ботам понять содержание веб-портала, проиндексировать его и добиться оптимального позиционирования.
Одной из наиболее интуитивно понятных и легко читаемых структур является разрозненная структура: SEO разрозненность, или разрозненное структурирование контента, – это стратегия оптимальной организации веб-контента, его точной категоризации и разделения на разделы в соответствии с макротемой, которой он посвящен.
Чтобы создать разрозненную структуру, следует начать с тщательного исследования ключевых слов, чтобы определить основные и второстепенные ключевые слова, которые будут использоваться, а затем создать разветвленную сеть внутренних ссылок, которые соединяют содержимое и придают ему желаемую иерархию.
Рассмотрение общей архитектуры сайта позволяет составить однородный и четко определенный редакционный план, спроектировать хорошо категоризированный контент, который легко сканируется и индексируется поисковыми системами. SEO, структурированное по блокам, облегчает позиционирование отдельных страниц и статей, являясь более понятным как для поисковых роботов, так и для самих пользователей. Последние получат весьма полезный опыт от ознакомления с таким удобным сайтом.
Отличной привычкой, позволяющей поисковым системам легче «читать» сайт или блог, является создание sitemap, т. е. веб-страницы, на которой подробно перечислена иерархия всех остальных страниц сайта. Это еще один способ содействия правильной индексации и стремления к эффективному позиционированию в поисковой выдаче.
Такую страницу можно создать без проблем, если использовать WordPress, с помощью таких инструментов, как RankMath или Yoast SEO. Но можно оставить эту задачу разработчикам, создавшим сайт. Чтобы отправить сайт, например, в Google, можно воспользоваться таким важным инструментом для SEO, как Google Search Console.
Что может вызвать проблемы с индексацией сайта?
Проблемы с индексацией обычно вызываются общими причинами. Поэтому стоит выяснить, почему сайт не индексируется. Наиболее распространенные причины:
1. Убедитесь, что домену не присвоены атрибуты "noindex" и/или "nofollow". Googlebot посещает сайт, чтобы определить, какие подстраницы доступны для сканирования, а какие проиндексированы. Его функция заключается в информировании поисковой системы о подстраницах или целых страницах, которые Google впоследствии может посетить (например, в процессе ввода пользователем фразы).
Поэтому надо убедиться, что на странице случайно нет ни одного из вышеупомянутых атрибутов, поскольку они не позволят поисковым системам проиндексировать ее.
<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">.
2. Проверьте правила, которые находятся в файле robots.txt. Этот файл расположен на сервере в корневом каталоге сайта, поэтому его можно найти по пути: www.domain.ru /robots.txt. Убедитесь, что там нет сообщений, блокирующих индексацию или вход робота Google. Прежде всего, проверьте, каким подстраницам присвоен тег Disallow, например:
Disallow: / – блокирует всю страницу.
Disallow: /directory/ – блокирует определенный каталог страницы.
Иногда бывает, что подстраница, которая должна быть доступна для Googlebot, случайно блокируется. Имейте в виду, что некоторые подстраницы или каталоги блокируются специально, чтобы не создавать, например, внутренние копии, не направлять куда-то пользователей и т. д.
3. Точно так же, как и в файле robots.txt, проверьте команды, введенные в файл .htaccess. Обычно он спрятан на сервере в папке web или в каталоге public_html. Неправильно настроенный .htaccess может быть причиной, например, цикла перенаправлений, которые приведут к тому, что подстраницы в этом участвующем каталоге не будут проиндексированы.
4. Карта сайта – файл sitemap.xml, также расположенный на сервере и обычно размещаемый по адресу: domain.ru/sitemap.xml. Этот файл представляет собой оглавление всех активных подстраниц в домене, это своего рода меню для Googlebot. Убедитесь, что она правильная и, самое главное, актуальная. Но это еще не все! Правильно настроенный и обновленный файл sitemap.xml должен быть найден в Google Search Console, и фактически путь к нему должен быть размещен там (т. е. упомянутый domain.ru/sitemap.xml).
Для этого используется соответствующий раздел в GSC, в котором указано, где находится файл на сервере. Проверка GSC происходит практически сразу и позволяет проверить, правильно ли создан файл страницы (т. е. содержит ли он правильные формулы). Но в этом разделе вы не будете проверять, все ли подстраницы находятся в индексе. Это делается в других местах.
В итоге каждая подстраница, которая не имеет "noindex" и корректно отображается на домене (после исключения всех других возможных проблем), помещенная в файл sitemap.xml и представленная в GSC, рано или поздно должна быть проиндексирована.
5. Прямыми и частыми причинами отсутствия индексации являются проблемы на сервере, с общей связью или с DNS. В результате Googlebot не сможет добраться до сайта или только до одной подстраницы, чтобы ее проиндексировать. Ошибки сервера 5xx (например, 500, 503) чаще всего не позволяют пользователям получить доступ к сайту, то же самое происходит и с роботом Google, когда сайт не имеет статуса 200.
6. История домена тоже может быть проблемой для индексации. Создавая новый сайт и подыскивая доменное имя, убедитесь, что его история «чиста». Если домен использовался ранее и был признан Google спамным (потому что это была ферма ссылок, каталог или распространение порнографии), то у вас тоже могут возникнуть проблемы с последующей индексацией, даже если вы успешно представили карту сайта в Google Search Console.
7. Еще одной распространенной причиной проблем с индексацией может быть то, что содержимое домена оказалось копией другого содержимого. Это очень редкий случай, но в тот момент, когда подавляющее большинство, например, описания категорий, товаров копируются один в один с другого сайта, информационная ценность домена становится равной "0".
8. Иногда использование неправильных канонических ссылок тоже может вызвать проблемы с индексацией. Канонические ссылки указывают Googlebot, какая подстраница является ведущей и предпочтительной. Обычно они полезны, если есть две версии одной и той же подстраницы или два домена, с которых осуществляется прямое копирование. Создание неправильных канонических ссылок, например, ведущих на подстраницы, которые не существуют или не являются оригинальной версией, может привести к проблемам с индексацией.