Joomla уроки Доступ к сайту поисковым системам в Joomla – файл robots.txt

Доступ к сайту поисковым системам в Joomla – файл robots.txt

20

Если правильно настроить файл в корне вашего сайта – robots.txt, то поисковые системы будут находить документы и обрабатывать их должным образом.

Итак, идем в адрес вашего хостинга: http://ваш_сайт/robots.txt и копируем файл robots.txt в любую директорию на вашем жестком диске… Теперь открываем его через программу чтения текстовых документов, например блокнот, и разбираемся с тем, какие данные будем вносить. В данном примере мы изменили стандартный файл, добавив к нему следующие элементы:

  • Запрет индексации дубля страниц.
  • Запрет индексации файлов с расширениями – swf./pdf./
  • Запрет индексации ссылок типа print=1/ mailto
  • Указали главное зеркало и путь карты сайта sitemap.xml 
  • (внимание! путь к вашей карте сайта нужно сначала узнать самостоятельно, в примере приведен путь, созданный с помощью компонента) Xmap

Запрет индексации нам нужен для того, чтобы поисковик шел по тем документам, которые влияют на степень ранжирования, а не проходил по всем категориям и папкам сайта. В противном случае поисковый робот просто может не дойти до нужных документов… Можете набрать вручную 😉 или скопировать данные в ваш текстовый документ robots.txt:

 User-agent: * 	Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1 	Disallow: /administrator/ 	Disallow: /cache/ 	Disallow: /components/ 	Disallow: /images/ 	Disallow: /includes/ 	Disallow: /installation/ 	Disallow: /language/ 	Disallow: /libraries/ 	Disallow: /media/ 	Disallow: /modules/ 	Disallow: /plugins/ 	Disallow: /templates/ 	Disallow: /tmp/ 	Disallow: /xmlrpc/ 	Disallow: /*.pdf 	Disallow: /*.swf 	Disallow: /*print=1 	Disallow: /*mailto/ 	Disallow: /index.html 	Disallow: /home 	Sitemap: http://ваш_сайт/index.php?option=com_xmap&view=xml&tmpl=component&id=1           User-agent: Yandex 	Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1 	Disallow: /administrator/ 	Disallow: /cache/ 	Disallow: /components/ 	Disallow: /images/ 	Disallow: /includes/ 	Disallow: /installation/ 	Disallow: /language/ 	Disallow: /libraries/ 	Disallow: /media/ 	Disallow: /modules/ 	Disallow: /plugins/ 	Disallow: /templates/ 	Disallow: /tmp/ 	Disallow: /xmlrpc/ 	Disallow: /*.pdf 	Disallow: /*.swf 	Disallow: /*print=1 	Disallow: /*mailto/ 	Disallow: /index.html 	Disallow: /home 	Host: ваш_сайт.ru 	Sitemap: http://ваш_сайт/index.php?option=com_xmap&view=xml&tmpl=component&id=1

Сохраняем документ под тем же именем и переносим в корень сайта, заменив предыдущий. Вот и все!

P.S. Вместо ваш_сайт вставляем доменное имя своего сайта 🙂