SeoFreeADS.eu5.org

Файл robots.txt — это текстовый документ в корневом каталоге сайта с инструкцией для поисковых ботов о том, какие URL (на которых расположены страницы, файлы, папки, прочее) подлежат индексированию, а какие — нет. И хотя наличие этого файла на сервере носит исключительно рекомендательный характер, и он не является обязательным условием функционирования Интернет-ресурса, но тем не менее, правильное заполнение файла robots.txt является основой внутреннего SEO и, чуть ли не, единственным решением некоторых техническим проблем с производительностью сайта, вызванных повышенной активностью поисковых роботов.

К основным функциям файла robots.txt можно отнести закрытие от сканирования страниц и файлов ресурса в целях более рационального распределения краулингового бюджета (Краулинговый бюджет — это лимит на количество страниц сайта, которые поисковые роботы смогут проиндексировать за сутки.). Чаще всего закрывают информацию, которая не несет ценности для пользователя и не влияет на позиции сайта в поисковой выдаче, например: страницы с персональными данными, различные вспомогательные страницы, файлы с определенными форматом (например: PDF), административную область сайта, а также системные, папки и файлы.

Фундаментальным преимуществом использования на сайте файла robots.txt является частичный директивный контроль активности поисковых ботов. Например следующие директивы файла robots.txt позволяют существенно снизить нагрузку на web-сервер в период очередной индексации: директива «Crawl-delay:» устанавливает таймауты(задержки) между загрузками страниц сайта, время задержки указывается в секундах – к сожалению не поддерживается Гугл и Яндекс; директива «Request-rate» позволяет загружать нужное кол-во страниц за определенное время (указывается в секундах), пример формата записи – Request-rate: 1/5(1 – кол-во страниц, 5 – промежуток времени в секундах); директива «Visit-time» устанавливает ежедневное расписание посещений для поисковых ботов, имеет следующий формат записи – Visit-time: 0600-0845(6:00 утра по 8:45 утра). Перечисленные директивы относятся к классу продвинутых настроек файла robots и они часто не используются, но при этом остаются весьма полезными.

Стандартными же директивами файла robots.txt в силу своей известности и частоты использования являются: «User-agent», «Disallow», «Allow», «Host» и «Sitemap».

Минималистичный пример оформления файла robots.txt:

User-agent: *

Allow: /

Disallow:/admin/*

Базовый пример оформления файла robots.txt для вордпресс:

User-agent: *    #

Crawl-delay: 30

Disallow: /wp-admin/* # аргумент Disallow закрывает доступ бота к url, папкам и файлам

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-json/

Disallow: /xmlrpc.php

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /embed

Disallow: /trackback

Disallow: /page/

Disallow: /search

Disallow: /?s=

Disallow: /&

Disallow: /?

Disallow: /*?

Allow: /  # Аргумент Allow открывает боту доступ к url, папкам и файлам

Allow: /wp-content/uploads

Host: mydomen.ru

Sitemap: https://mydomen.ru/sitemap.xml

ПОДЕЛИТЬСЯ СТРАНИЧКОЙ:

URL:http://seofreeads.eu5.org/vnutrennee-seo-fajl-robots/

bbCode:[url=http://seofreeads.eu5.org/vnutrennee-seo-fajl-robots/]Внутреннее SEO: файл robots[/url]

HTML:<a href="http://seofreeads.eu5.org/vnutrennee-seo-fajl-robots/" title="Внутреннее SEO: файл robots" target="_blank">Внутреннее SEO: файл robots</a><p>Файл robots.txt — это текстовый документ в корневом каталоге сайта с инструкцией для поисковых ботов о том, какие URL (на которых расположены страницы, файлы, папки,></p>