Search
Точное соответствие
Поиск в заголовке
Поиск в статье
Search in comments
Search in excerpt
Filter by Custom Post Type
Записи
Страницы
Домой - Статьи - Joomla уроки - Доступ к сайту поисковым системам в Joomla – файл robots.txt

Доступ к сайту поисковым системам в Joomla – файл robots.txt

Если правильно настроить файл в корне вашего сайта - robots.txt, то поисковые системы будут находить документы и обрабатывать их должным образом.

Итак, идем в адрес вашего хостинга: http://ваш_сайт/robots.txt и копируем файл robots.txt в любую директорию на вашем жестком диске... Теперь открываем его через программу чтения текстовых документов, например блокнот, и разбираемся с тем, какие данные будем вносить. В данном примере мы изменили стандартный файл, добавив к нему следующие элементы:

  • Запрет индексации дубля страниц.
  • Запрет индексации файлов с расширениями - swf./pdf./
  • Запрет индексации ссылок типа print=1/ mailto
  • Указали главное зеркало и путь карты сайта sitemap.xml 
  • (внимание! путь к вашей карте сайта нужно сначала узнать самостоятельно, в примере приведен путь, созданный с помощью компонента) Xmap

Запрет индексации нам нужен для того, чтобы поисковик шел по тем документам, которые влияют на степень ранжирования, а не проходил по всем категориям и папкам сайта. В противном случае поисковый робот просто может не дойти до нужных документов... Можете набрать вручную 😉 или скопировать данные в ваш текстовый документ robots.txt:

 User-agent: *	Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1	Disallow: /administrator/	Disallow: /cache/	Disallow: /components/	Disallow: /images/	Disallow: /includes/	Disallow: /installation/	Disallow: /language/	Disallow: /libraries/	Disallow: /media/	Disallow: /modules/	Disallow: /plugins/	Disallow: /templates/	Disallow: /tmp/	Disallow: /xmlrpc/	Disallow: /*.pdf	Disallow: /*.swf	Disallow: /*print=1	Disallow: /*mailto/	Disallow: /index.html	Disallow: /home	Sitemap: http://ваш_сайт/index.php?option=com_xmap&view=xml&tmpl=component&id=1 User-agent: Yandex	Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1	Disallow: /administrator/	Disallow: /cache/	Disallow: /components/	Disallow: /images/	Disallow: /includes/	Disallow: /installation/	Disallow: /language/	Disallow: /libraries/	Disallow: /media/	Disallow: /modules/	Disallow: /plugins/	Disallow: /templates/	Disallow: /tmp/	Disallow: /xmlrpc/	Disallow: /*.pdf	Disallow: /*.swf	Disallow: /*print=1	Disallow: /*mailto/	Disallow: /index.html	Disallow: /home	Host: ваш_сайт.ru	Sitemap: http://ваш_сайт/index.php?option=com_xmap&view=xml&tmpl=component&id=1

Сохраняем документ под тем же именем и переносим в корень сайта, заменив предыдущий. Вот и все!

P.S. Вместо ваш_сайт вставляем доменное имя своего сайта 🙂

Интересные статьи

photolessons.org

Page Background Changer With Video - видео на фон сайта

Page Background Changer With Video - расширение для вставки видео на сайт. Прекрасный модуль для …