VAOZ Posted April 13, 2018 Share Posted April 13, 2018 Для чего нужен robots.txt? Для того чтобы указывать поисковику какие страницы посещать и индексировать можно, а какие нельзя. Закрывая от индексации какие-то страницы (или даже разделы) вы тем самым признаете, что эти страницы некачественные или ненужные по различным причинам. Чаще всего запрет используется для исключения дублей страниц и технической информации. К сожалению, реальность такова, что сегодня 99% сайтов имеющих файл роботс закрывают с его помощью как раз такие страницы. И вот идеальный robots.txt для Чистой версии DLE: User-agent: * Disallow: /engine/* Disallow: */page/*/ Disallow: */page/ Disallow: /user/* Disallow: /lastnews/* Disallow: /catalog/* Disallow: /newposts/* Disallow: /favorites/ Disallow: /rules.html Disallow: /statistics.html Disallow: /addnews.html Disallow: /?do=* Disallow: /index.php?do=* Allow: /engine/classes/js/ Allow: /engine/classes/min/index.php Allow: /engine/data/emoticons/ Host: site.com Sitemap: http://site.com/sitemap.xml С помощью него мы закроем доступ ко всем не нужным файлам в папке engine, страницам навигации (что по сути есть дубли), страницам стандартных возможностей DLE которые дублируют контент и никак не позволят собрать трафик и так же разрешим доступ для ПС к нужным файлам которые используются движком на страницах. Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now