Опубликовано 13 апреля, 20187 г Для чего нужен robots.txt? Для того чтобы указывать поисковику какие страницы посещать и индексировать можно, а какие нельзя. Закрывая от индексации какие-то страницы (или даже разделы) вы тем самым признаете, что эти страницы некачественные или ненужные по различным причинам. Чаще всего запрет используется для исключения дублей страниц и технической информации. К сожалению, реальность такова, что сегодня 99% сайтов имеющих файл роботс закрывают с его помощью как раз такие страницы. И вот идеальный robots.txt для Чистой версии DLE: User-agent: * Disallow: /engine/* Disallow: */page/*/ Disallow: */page/ Disallow: /user/* Disallow: /lastnews/* Disallow: /catalog/* Disallow: /newposts/* Disallow: /favorites/ Disallow: /rules.html Disallow: /statistics.html Disallow: /addnews.html Disallow: /?do=* Disallow: /index.php?do=* Allow: /engine/classes/js/ Allow: /engine/classes/min/index.php Allow: /engine/data/emoticons/ Host: site.com Sitemap: http://site.com/sitemap.xml С помощью него мы закроем доступ ко всем не нужным файлам в папке engine, страницам навигации (что по сути есть дубли), страницам стандартных возможностей DLE которые дублируют контент и никак не позволят собрать трафик и так же разрешим доступ для ПС к нужным файлам которые используются движком на страницах.
Для публикации сообщений создайте учётную запись или авторизуйтесь