Главная
ВЫБЕРИТЕ ПОДХОДЯЩИЙ ПЛАН ОБМЕНА ССЫЛКАМИ
1x31x51x71x101x121x151x201x251x301x35
 
1x401x451x501x751x1001x1501x2001x2501x300
MRTower.ru

Меню
Позиция ссылки
Статистика сайта
 Работаем  5 лет 11 месяцев 26 дней
 Всего просмотров 20'965'117
 Просмотров в день 9'582
 Бесплатных ссылок 6'764
 Рекламодатели 744
 Платная реклама
 Рейтинг сайтов
 Сейчас на сайте 11
Топ показов за сутки
zeekrewards.io.ua61
grusoperevozki.com58
mrnew.ru57
mymrs.ru56
iximuz.ru53
Топ новых за сутки
narynok.ru15
buxsort.narod.ru9
zeekrewards.io.ua7
culinary.ga7
epngo.bz6
Топ категорий
Работа и заработок1201
Реклама402
Строительство и ремонт347
Товары и услуги314
Игры282
Баннер 200x300
Текстовые объявления
Новости сайта

  21.12.2016 - Уважаемые пользователи! Как вы вероятно заметили, за последнее время функционал нашего сервиса существенно обновился. Добавлен ряд новых возможностей, модернизир...

  09.01.2015 - Дорогие друзья! Наш сервис теперь позволяет размещать ссылки в тематических категориях. Цель нововведения - привлечь на Ваши сайты заинтересованных посетителей....

  14.05.2013 - Уважаемые пользователи сервиса обмена ссылками! Блокировка сайтов, разрушающих при серфинге структуру фрейма, происходит на уровне домена. Страницы таких домено...
Реклама
По вашему желанию лечение за рубежом по низкой цене. Гарантированно.
Карта посещений

Что такое файл robots.txt





Что такое файл robots.txt


Robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов.
Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, как для всех, так и для определённых, роботов.
К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию роботом поисковой системы или вообще к неработоспособности данного файла.
 

Как создать robots.txt


Robots.txt должен создаваться в текстовом формате Unix.
Воспользуйтесь любым текстовым редактором, создайте файл с именем "robots.txt" и заполните его в соответствии с представленными ниже правилами.
Файл robots.txt должен находиться только в корневой директории сайта, только тогда он будет учитываться поисковыми системами.
robots.txt является регистрозависимым, называть файл необходимо robots.txt, Robots.txt будет уже ошибкой.
После этого необходимо загрузить файл в корневой каталог вашего сайта.
Всегда после того, как вы закачали файл robots.txt на сервер, проверяйте его. Достаточно в броузере набрать простой запрос:
http://ваш_сайт/robots.txt
 

Проверка синтаксиса


Инструмент Проверка файла robots.txt показывает, не блокирует ли ваш файл robots.txt доступ поискового робота к файлам и каталогам вашего сайта
и не разрешает ли он сканирование файлов, которые не должны появляться в Интернете.
Для проверки синтаксиса и структуры файла robots.txt существует ряд специализированных онлайн-служб.

Служба яндекса - webmaster.yandex.ua
Gogle webmasters - www.google.com

 

Содержимое файла robots.txt


Полностью пустой файл robots.txt эквивалентен его отсутствию, что предполагает разрешение на индексирование всего сайта.

User-agent: содержит название робота.
Disallow: URL-адреса, которые необходимо заблокировать.

User-agent: * - разрешение индексировать всем роботам.

Disallow: - разрешение индексировать всё содержимое сайта.
Disallow: / - запрет на индексацию всего сайта.
Disallow: /name – запрет на индексацию любых файлов и директорий, которые называются или имеют в своём названии name.
Disallow: /name/ - запрет на индексацию директории name.
Disallow: /*.gif$ - запрет на индексацию всех файлов, имеющих расширение .gif.
Disallow: /name.php – запрет на индексацию файла name.php.
Disallow: /name.php?action=print – запрет индексации переменной, например, страниц для печати.
Allow: / - всё наоборот (разрешается индексировать), синтаксис такой же, как и с Disallow

Примеры

Разрешает доступ всех роботов ко всему сайту:

User-agent: *
Disallow:

Запрет доступа всех роботов ко всему сайту:

User-agent: *
Disallow: /

Запрещает роботу Roverdog индексировать все файлы сервера:

User-agent: Roverdog
Disallow: /

Запрещает роботу googlebot индексировать файл cheese.htm:

User-agent: googlebot
Disallow: cheese.htm

Чтобы сообщить поисковым системам местоположение файла Sitemap, можно в robots.txt добавить строку вида:
Sitemap: http://ваш_сайт/sitemap.xml

Ротатор баннеров 468x60

Баннеров в ротаторе: 2   Смотреть все   Добавить баннер
 

 
Ротатор баннеров 88x31


Баннеров в ротаторе: 0   Смотреть все   Добавить баннер
 
Партнерская реклама


Баннер 100х100
Добавить баннер   Смотреть все
Онлайн-сервисы
Облако тегов
>

Для правильного отображения этого блока требуется Flash Player 10 или выше

Реклама


Аттестат и контакты
WMID: 309688839848
WMR: R325885159214
E-mail: mrtower@mail.ru
ICQ:
  BL:Бизнес-уровень [BL]