Если не индексируется сайт на WordPress

Индексация сайта на WordPress и проблема индексации

Индексация сайта на WordPress и проблема индексации
Индексация сайта на WordPress

Самая распространенная ошибка вебмастера

Начинающие вебмастера создавая сайт часто допускают элементарную ошибку забыв открыть доступ к сайту для поисковых машин. Мне кажется не стоит напоминать как важна индексация сайта для получения посетителей на свой сайт с поисковых систем. В этой статье будут приведены самые простые шаги которые необходимо сделать в первую очередь.

В WordPress одной галочкой можно как открыть так и запретить доступ к индексации.

Четыре простых шага для включения индексации сайта на WordPress.

Индексация сайта на WordPress и проблема индексации
Включение индексации WordPress сайта в четыре клика
  1. Заходим в “Настройки”.
  2. Проходим во вкладку “Чтение”.
  3. Убираем галочку в строчке “Видимость для поисковых систем”
  4. Сохранить изменения.

Кроме того, рекомендуется произвести ряд действий для улучшения индексации сайта:

  1. В корневом каталоге вашего сайта создайте файл robots.txt . Файл robots.txt нужен для указания поисковым системам разделов и каталогов сайта которые запрещены к индексации.

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /*?
Disallow: /*.gz
Host: сайт.com

User-agent: *
Disallow: /cgi-bin/
Disallow: /*.gz
Disallow: /tag/
Disallow: /trackback/
Disallow: /comment/
Disallow: /rss/

Sitemap: http://сайт.com/sitemap.xml

Команды для поисковиков в robots.txt

User-agent: – означает обращение к конкретной поисковой системе. User-agent может быть и google, bing, yahoo или * то есть все. Используется в зависимости от необходимости реализации конкретных задач.

Disallow: – означает запрет (даже просто переводится как запрет) на индексацию конкретных каталогов в WordPress.

Allow: / – означает разрешена индексация всех каталогов сайта.

Sitemap: – указываем на расположение фала карты сайта о котором более подробное описание будет ниже.

Пример:

User-agent: * Allow: / – означает что всем поисковым системам открыта индексация с корневого каталога всех файлов.

User-agent: Googlebot Disallow: /*.gif$ – означает запрет Гугл боту индексации всех изображений в формате gif.

Sitemap: https://zarabotaj.com.ua/sitemap_index.xml ссылка на карту сайта данного конкретного сайта.

2. Создание карты сайта на WordPress

Для чего нужна карта сайта и почему она так важна? Карта сайта как понятно из самого названия содержит в себе адреса всех страниц сайта и помогает поисковым машинам обнаружить и указать все имеющиеся страницы для индексации. После получения адресов для индексации поисковый робот совершает обход по указанным страницам и индексирует их в последствии выдавая ваши страницы по релевантным запросам.

Для создания файла sitemap.xml в WordPress есть множество плагинов.

Индексация сайта на WordPress и проблема индексации
Индексация сайта на WordPress и проблема индексации

Пройдите во вкладку плагинов затем нажмите на кнопку добавить новый. В открывшейся вкладке введите в поле поиска Google XML Sitemaps как указано на последней картинке. Выбирайте подходящий и жмите кнопку “Установить”. После установки плагина перейдите к настройке и созданию карты сайта. Создав карту сайта скопируйте ссылку на созданный файл и добавьте в панели вебмастера в поисковую систему.

3. Определение главного зеркала сайта и переадресация

Наверное вы встречали сайты которые начинались с www, так вот поисковые системы по разному оценивают домены с www и без то есть в понимании поисковой машины zarabotaj.com.ua и www.zarabotaj.com.ua это абсолютно разные два сайта.

Что случится если не определять главное зеркало и не ставить переадресацию?

Ничего страшного не случится, просто потребуется больше времени для индексации и склейки домена с www и без www.

Для указания основного зеркала сайта в описанном ранее файле robots.txt

Host: zarabotaj.com.ua или www.zarabotaj.com.ua

В файле .htaccess который расположен на сервере в корневой папке прописываем переадресацию следующего вида:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^zarabotaj.com.ua
RewriteRule (.*) http://www.zarabotaj.com.ua/$1 [R=301,L] (не забыв zarabotaj.com.ua заменить на свой адрес).

В заключение хочется сказать пару слов, о том, что начиная новый проект следует учитывать для какой страны и региона он будет использоваться. К примеру на территории России более популярной поисковой системой является Яндекс, в Европе же подавляющее большинство пользователей использует Google. В Украине после запрета на использование поисковой системы Яндекс доминирует поисковая система Google. Есть некоторая разница в оформлении контента и использовании тэгов для Google и Яндекс. То что на ура скушает Google, не всегда понравится Яндексу. Отсюда и начинается разность в подходах и настройках.

Для лучшей индексации и повышения выдачи в поисковой системе нужно заниматься СЕО оптимизацией сайтов. На сегодняшний день не достаточно просто размещать красиво оформленные статьи, необходимы некоторые манипуляции на которые кстати не всегда хорошо реагируют поисковые системы. Но это другая тема и для другой статьи.