yaponochka.com - разработка сайтов,  seo продвижение, нейминг
+38 (044) 237-45-90 seo-yaponochka Бесплатный расчет
Развитие бизнеса в интернете

Как добавить сайт в индекс поисковых систем

как добавить сайт в поисковые системы

Индексация страницы – это наличие страницы в базе данных поисковых систем, например Google или Яндекс. Если страницы нет в индексе, пользователи не смогут найти ее в поиске ни по одному запросу, поэтому важно, чтобы все значимые страницы сайта попадали в индекс.

Содержание статьи:

  1. Robots.txt
  2. Карта сайта XML
  3. GoogleBot
  4. Переобход страниц Яндекс
  5. Add Url и Twitter
  6. Браузеры
  7. Вывод

1. Robots.txt

По умолчанию сайт доступен к индексации всеми роботами. Чтобы управлять индексацией, в первую очередь обязательно нужно создать и заполнить файл robots.txt.

Чтобы разрешить поисковикам индексировать сайт, в файле robots.txt нужно прописать строки:

User-agent: *
Disallow:

Также нужно добавить карту сайта XML (информация о ней будет ниже ) и адрес сайта. В карте указываем страницы, которые хотим отправить в индекс – тогда робот быстрее обнаружит и обойдет их.

Пример:

User-agent: *
Disallow:

Sitemap: https://site.com/sitemap.xml
Host: https://site.com

Если сайт не имеет защищенного протокола https, то протокол в строке Host не указывается:

User-agent: *
Disallow:

Sitemap: http://site.com/sitemap.xml
Host: site.com

С подробной инструкцией по настройке robots.txt можно ознакомиться в статье.

2. Карта сайта XML

Карта сайта XML – файл, в котором содержатся все страницы сайта и изображения. Поисковики обходят страницы из карты сайта и добавляют их в индекс.

Создать карту сайта XML можно с помощью онлайн-сервисов, например на сайте mysitemapgenerator (бесплатно до 500 страниц). А также с помощью десктопных программ, например Xenu, Screaming Frog, Netpeak Spider и т.д.

Для сайтов с большим количеством страниц, а также для сайтов, на которых часто добавляются новые страницы, рекомендуется использовать самообновляющуюся карту.

Для сайтов на WordPress есть бесплатный плагин Yoast SEO, он генерирует карту сайта автоматически.

Не забывайте: ссылку на карту сайта нужно добавить в файл robots.txt.

3. GoogleBot

В вебмастере Google мы можем отправить в индекс конкретную страницу сайта или даже весь раздел, для этого нужно перейти во вкладку “Сканирование – просмотреть как Googlebot”

как добавить сайт в индекс

Далее ввести адрес страницы, которую нужно добавить в индекс. Если нужно добавить главную страницу, то оставляем поле пустым. Если у сайта есть мобильная адаптация, то нужно дополнительно просмотреть страницу в Mobile: Smartphone

как добавить сайт в google

После добавления страницы нужно “Запросить индексирование”
как проиндексировать сайт в google

Google предлагает 2 варианта индексирования страницы:

  • Сканировать только этот URL (500 сканирований/мес.)
  • Сканировать этот URL и прямые ссылки (10 сканирований/мес.)

Пункт “Сканировать этот URL и прямые ссылки“ подходит для страниц категорий и главной страницы и позволяет проиндексировать все ссылки, на которые ссылается страница, например товары в категории. Вариант “Сканировать только этот URL” следует использовать для загона в индекс страниц с крайней вложенностью, например новые товары или статьи.

4. Переобход страниц Яндекс

Чтобы робот Яндекса быстрее обошел страницы сайта, достаточно добавить их на переобход в вебмастере. Для этого нужно перейти во вкладку “Индексирование — Переобход страниц”.

как добавить сайт в яндекс

Дневной лимит переобхода – 20 страниц (включая основной домен и все поддомены).

После переобхода статус страницы изменится на “Робот обошел”.

5. Add Url и Twitter

Существуют альтернативные способы добавления страниц в индекс. Эти способы используются, когда нужно проиндексировать страницы не вашего сайта, например для индексации полученных ссылок со сторонних ресурсов.

1. Add Url

Принцип переобхода страниц такой же, как и в Googlebot, а отличие в том, что можно добавить страницу со стороннего домена.

Для добавления страницы в индекс в поиске Google нужно написать фразу “add url”. В выдаче появится окно, в которое добавляем адрес страницы.

переобход сайта в add url

2. Twitter

Google реагирует на новые посты в социальных сетях, и если в посте есть ссылки, то он переходит по ним. Поэтому прогон ссылок через Twitter может ускорить индексацию страниц поисковиками.

Можно самому сделать пост в Твиттере или же заказать твитты на биржах фриланса или сервисах, например prospero.

Желательно делать твитты не только ссылки, а использовать околоссылочный текст, который будет релевантен странице.
индексирование сайтов с помощью твиттов

6. Браузеры

Еще один способ добавления сайта в индекс – открытие страницы в браузере.

Для Google – Chrome и, соответственно, для Яндекса – Яндекс Браузер.

Пример для Google Chrome
индексирование сайта в браузере google chrome

Пример для Яндекс Браузера
индексирование сайта в Яндекс Браузере

7. Вывод

Методы, описанные в данной статье, позволяют добавить страницы любого сайта в индекс. Для проверки страницы в индексе в поиске поисковика вбейте страницу сайта, а перед ней добавьте url:
проверка страниц сайта в индексе

Способ подходит для проверки небольшого количества страниц. Чтобы проверить индексацию всех страниц сайта, используют другие методы, о них мы расскажем в следующей статье.

Надеемся, вам была полезна статья о добавлении сайта в индекс. Если будут вопросы – задавайте в комментариях, с радостью на них ответим.

Получай свежие статьи первым по E-mail

Интересное

  • http://kiev.moygorod.ua Мой город Киев

    Хорошая статья, спасибо. Метод номер шесть для Google Chrome по нашим наблюдениям не работает.