Robots.txt - редактор стандартных файлов управления пауками поисковиков. Программа для контроля над тем, как поисковые агенты-пауки просматривают Ваш веб-сайт и добавляют информацию о нем в базы данных поисковых систем. В этой программе есть все необходимое Вам для того, чтобы управлять и контролировать визиты пауков поисковых систем, индексирующих ваш веб-сайт. В отличие от других продуктов, данная программа содержит редактор стандартизированных файлов для контроля пауков Robots.txt.
С помощью программы Robots.txt вы можете:
*
Визуально генерировать стандартные файлы robots.txt;
*
Идентифицировать нежелательных роботов и запрещать им доступ к Вашему сайту;
*
Направлять поисковых роботов к соответственным страницам многоязычных сайтов;
*
Использовать файлы Robots.txt для управления doorway-страницами;
*
Не допускать роботов в системные области Вашего сайта;
*
Загружать правильно отформатированный файл robots.txt прямо на ваш FTP-сервер прямо из редактора Robots.txt;
*
Отслеживать посещения роботов;
*
Создавать отчеты о посещениях роботов в форматах HTML, Microsoft Excel CSV и XML.
Карта сайта
Все материалы размещенные на сайте пренадлежат их владельцам и предоставляются исключительно в ознакомительных целях.
Администрация ответственности за содержание материала не несет и убытки не возмещает.
По истечении 24 часов материал должен быть удален с вашего компьютера.
Незаконная реализация карается законами РФ: "Об авторском и смежном праве".
Robots.txt - редактор стандартных файлов управления пауками поисковиков. Программа для контроля над тем, как поисковые агенты-пауки просматривают Ваш веб-сайт и добавляют информацию о нем в базы данных поисковых систем. В этой программе есть все необходимое Вам для того, чтобы управлять и контролировать визиты пауков поисковых систем, индексирующих ваш веб-сайт. В отличие от других продуктов, данная программа содержит редактор стандартизированных файлов для контроля пауков Robots.txt.
С помощью программы Robots.txt вы можете:
*
Визуально генерировать стандартные файлы robots.txt;
*
Идентифицировать нежелательных роботов и запрещать им доступ к Вашему сайту;
*
Направлять поисковых роботов к соответственным страницам многоязычных сайтов;
*
Использовать файлы Robots.txt для управления doorway-страницами;
*
Не допускать роботов в системные области Вашего сайта;
*
Загружать правильно отформатированный файл robots.txt прямо на ваш FTP-сервер прямо из редактора Robots.txt;
*
Отслеживать посещения роботов;
*
Создавать отчеты о посещениях роботов в форматах HTML, Microsoft Excel CSV и XML.
