Jump to content

Правильный robots.txt для datalife engine


VAOZ
 Share


Recommended Posts

Для чего нужен robots.txt?
Для того чтобы указывать поисковику какие страницы посещать и индексировать можно, а какие нельзя. Закрывая от индексации какие-то страницы (или даже разделы) вы тем самым признаете, что эти страницы некачественные или ненужные по различным причинам. Чаще всего запрет используется для исключения дублей страниц и технической информации. К сожалению, реальность такова, что сегодня 99% сайтов имеющих файл роботс закрывают с его помощью как раз такие страницы.

И вот идеальный robots.txt для Чистой версии DLE:

User-agent: *
Disallow: /engine/*
Disallow: */page/*/
Disallow: */page/
Disallow: /user/*
Disallow: /lastnews/*
Disallow: /catalog/*
Disallow: /newposts/*
Disallow: /favorites/
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /?do=*
Disallow: /index.php?do=*
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Host: site.com
Sitemap: http://site.com/sitemap.xml

С помощью него мы закроем доступ ко всем не нужным файлам в папке engine, страницам навигации (что по сути есть дубли), страницам стандартных возможностей DLE которые дублируют контент и никак не позволят собрать трафик и так же разрешим доступ для ПС к нужным файлам которые используются движком на страницах.

Link to comment
Share on other sites


Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share


×
×
  • Create New...