Мета-тег Robots и файл robots.txt на страже сайта

Любого владельца сайта радует, когда поисковый робот регулярно сканирует веб-ресурс и добавляет проиндексированный контент в свое хранилище. Однако, это может быть не всегда во благо, ведь дЧитать далее…