Правильный robots.txt для datalife engine

[VAOZ]

Для чего нужен robots.txt?
Для того чтобы указывать поисковику какие страницы посещать и индексировать можно, а какие нельзя. Закрывая от индексации какие-то страницы (или даже разделы) вы тем самым признаете, что эти страницы некачественные или ненужные по различным причинам. Чаще всего запрет используется для исключения дублей страниц и технической информации. К сожалению, реальность такова, что сегодня 99% сайтов имеющих файл роботс закрывают с его помощью как раз такие страницы.

И вот идеальный robots.txt для Чистой версии DLE:

User-agent: *
Disallow: /engine/*
Disallow: */page/*/
Disallow: */page/
Disallow: /user/*
Disallow: /lastnews/*
Disallow: /catalog/*
Disallow: /newposts/*
Disallow: /favorites/
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /?do=*
Disallow: /index.php?do=*
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Host: site.com
Sitemap: http://site.com/sitemap.xml

С помощью него мы закроем доступ ко всем не нужным файлам в папке engine, страницам навигации (что по сути есть дубли), страницам стандартных возможностей DLE которые дублируют контент и никак не позволят собрать трафик и так же разрешим доступ для ПС к нужным файлам которые используются движком на страницах.