Вот как и обещал.
В этой статье я расскажу как правильно заточить документ robots.txt под поисковые системы и как быстро попасть в индекс поисковых систем.
Ну начнем:
1. Создание robots.txt под uCoz Рассмотрим основные теги этого документа:
Disallow: это дистрибутив запрещающий индексацию страницы или каталога.
Allow: это дистрибутив разрешающий индексацию страницы или каталога.
Таким образом мы можем запретить индексацию любого каталога,но разрешить индексацию некоторых страниц тогоже каталога.
Возьмем для примера модуль Каталог файлов
Каталог модуля расположен поадресу /load/
Если поставить:
То каталог файлов у нас индексироватся не будет,но если нам нужны 2-3 странички этого каталога из всех (к примеру всего 10)
То в robots.txt пишем следущие строки:
Code
Allow: /load/адрес страницы
Внимание: строки с разрешением индексации страницы должны быть выше чем строка с запрещением индекса каталога.
Пример:
Code
Allow: /load/адрес страницы
Allow: /load/адрес страницы
Allow: /load/адрес страницы
Disallow: /load/
Таким образом у нас будет индексироватся только те страницы которые указаны под тегом Allow
Теперь разберемся с тегом User-agent
это тег открывающий информацию о боте для которого будут доступны настройки всего того что ниже.
Тег User-agent ставится в самом верху и после него указывается имя бота для проверки
например:
Но если вы хотите указать для каждого бота поисковой системы,либо каталога сайтов и т.п. один и тот же дистрибутив, то ставим следущий тег:
И ниже перечисляем запреты и открытия разных страниц и каталогов.
Итак основная работа сделана и уже можно использовать этот документ для всех ботов, но если вы хотите лучшей индексации сайта и лучшего отоброжения его поисковым системам, лучше вписать еще такие строки:
Quote
Sitemap:http://www.имя.домен/sitemap.xml
Sitemap:http://www.имя.домен/sitemap-forum.xml
Также есть еще много всего,но это особо ненужно и уже по этой инструкции можно составить отличный robots.txt для поисковиков.
Пример готового robots.txt для uCoz:
Quote
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Host: www.web-mir.net.ru
Sitemap:http://www.web-mir.net.ru/sitemap.xml
Sitemap:http://www.web-mir.net.ru/sitemap-forum.xml
