Файл sitemap: html, xml, txt, как создать и добавить в яндекс и google вебмастер

Как создать Sitemap.xml самому в Joomla и Вордпрессе

Этот файл вы можете создать в любом текстовом редакторе, например, все в том же Notepad++, о котором тут я вам все уши прожужжал. Карта сайта в формате xml имеет обычно примерно такую структуру.

Сначала идет стандартная часть:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

А затем идет серия повторяющихся блоков, заключенных в теги «url», каждый из которых описывает одну из страниц вашего проекта, для которого пишется данная карта:

<url>
		<loc>https://ktonanovenkogo.ru/</loc>
		<lastmod>2011-05-12T19:22:36+00:00</lastmod>
		<changefreq>daily</changefreq>
		<priority>1.0</priority>
	</url>

Обязательным в этом xml коде является только пара тегов «loc», в которых заключается адрес страниц вашего проекта, которую должны будут проиндексировать поисковые системы. В теги «lastmod» заключена дата последнего обновления данной страницы, что позволит роботу лишний раз не заходить на не изменившуюся с момента последнего захода страницу.

В тегах «changefreq» указывается примерная частота обновления данной страницы (раз в день, неделю, месяц), ну, а в теге «priority» указывается приоритетность ее индексации. Изначальный приоритет у всех страниц равен 0.5, но вы вольны изменять его для определения очередности индексации вашего web проекта (от 0 до 1).

Не забывайте, что за один проход робот не сможет пройти по всем ссылкам в большой карте сайта (обычно около сотни ссылок за раз проходит), а значит с помощью большего приоритета можно выбрать наиболее важные для быстрой индексации страницы.

По стандарту sitemap.xml не может содержать более 50 000 ссылок и весить более 10 Мб. Хотя, многие даже при превышении 500 — 1000 ссылок в карте сайта стараются ее разбить на несколько файлов, подсунув поисковым системам и указав в robots.txt индексный файл сайтмап, в котором имеются ссылки на все остальные файлы карт большого сайта.

Его синтаксис будет примерно таким:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

<sitemap>

 <loc>https://ktonanovenkogo.ru/sitemap.xml.gz</loc>

 <lastmod>2011-04-01T18:23:17+00:00</lastmod>

 </sitemap>

 <loc>https://ktonanovenkogo.ru/sitemap2.xml.gz</loc>

 <lastmod>2011-04-01T18:23:17+00:00</lastmod>
 </sitemap>

Генерация карты сайта в Joomla и WordPress

Создать карту сайта для WordPress можно будет с помощью плагина Google XML Sitemaps. Для нее вы сможете произвести множество настроек, которые позволят исключить часть материалов вашего сайта, а так же можете задать предполагаемую частоту обновления. Кроме создания карты, плагин Google XML Sitemaps при публикации новых материалов на вашем блоге уведомляет об этом многие поисковые системы, приглашая их побыстрее провести индексацию.

Путь до файла сайтмап можете задать сами в настройках плагина и даже можете дать ему название отличное от классического sitemap.xml. Многие владельцы именно так и делают — называю этот файл kjfdjkf.xml и закапывают его в огромном количестве вложенных папок. Тем самы они прячут карту сайта от посторонних глаз. В роботс.тхт они тоже этот путь не указывают, а сообщают его только Яндексу и Гуглу в их панелях для вебмастеров, о которых речь пойдет чуть ниже.

Создать карту сайта для Joomla можно с помощью компонента Xmap. По приведенной чуть выше ссылке вы найдете довольно подробную инструкцию, как по ее созданию в виде файла xml, так и в формате Html, ориентированную в первую очередь не на ускорение индексации, а на удобство пользователей.

Ссылку на созданный сайтмап сможете найти в настройках компонента, как показано на приведенном скриншоте.

Как выглядит файл карты сайта.

Расширение xml означает, что файл написан на языке расширенной разметки (eXtensible Markup Language). Фактически, это тот-же HTML, но только предназначен только для поисковых систем. А значит, его можно прочитать также, как и сам файл html, то есть, обычным текстовым редактором.

Как мы можем увидеть, фактически, это знакомая нам разметка страницы.

Любой, корректный файл карты, состоит из трех частей.

Заголовок.

В нём сообщается поисковикам, что они читают XML-файл. В нем также указывается версия XML и используемая кодировка символов. Для файлов Sitemap версия должна быть 1.0, а кодировка должна быть UTF ‑ 8.

URL set

Это контейнер для всех URL-адресов в карте сайта, то есть, в него вкладываются все теги url. Он также сообщает поисковым роботам, какой стандарт протокола используется. В большинстве файлов Sitemap указан стандарт Sitemap 0.90, который поддерживается Yandex, Google и другими поисковиками.

URL

Это родительский тег для каждого URL. Вы должны указать расположение каждого нужного URL во вложенном теге loc

Важно отметить, что это должны быть абсолютные, а не относительные канонические URL-адреса

Хотя это единственный обязательный тег, но к нему можно добавить несколько необязательных.

Sitemap – поскольку файлов карты может быть несколько, то с помощью этого тега, можно указать дочерние карты сайта. В таком случае, поисковый робот, начав изучение с главной карты, потом перейдет по всем дочерним картам.

lastmod: указывает дату последнего изменения файла. Дата должна быть в формате W3C Datetime. Например, если вы обновите сообщение 20 декабря 2019 года, то в этом теге будет прописано 2019-12-20. Вы также можете указать время, но это не обязательно.

priority: указывает приоритет URL относительно всех других страниц сайта. Значения находятся в диапазоне от 0,0 до 1,0. Чем выше, тем важнее.

changefreq: указывает, как часто страница может меняться. Его работа заключается в том, чтобы сообщить поисковикам, как часто они должны заходить и переиндексировать эту страницу. Допустимые значения: always, hourly, daily, weekly, monthly, yearly, and never (вседа, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно и никогда).

Оптимизация индексации XML Sitemap

Добавляйте в Sitemap только SEO-релевантные страницы

XML Sitemap включает список страниц, которые наиболее важно «показать» поисковикам. Это не обязательно каждая страница сайта

Краулеры придерживаются того перечня, который вы сами определите.

Очень желательно исключить:

  • Дубликаты страниц и побочные адреса (non-canonical);
  • Страницы с пагинацией;
  • URL, созданные на основе ID сессий и параметров;
  • Результаты поиска;
  • Адреса ответов и комментариев;
  • Адреса для репоста;
  • Результаты фильтрации;
  • Архивные страницы;
  • Редиректы (3**), несуществующие страницы (4**), ошибки сервера (5**);
  • Страницы, заблокированные в robots.txt;
  • Страницы с noindex;
  • Материалы, доступные через форму лидгена (white paper, PDF и т.д.);
  • Страницы, не подходящие в качестве страниц входа (окно логина, контакты, пользовательское соглашение и т.д.).

Помните, что список URL в sitemap чаще всего воспринимается поисковиками в качестве рекомендации, но не прямого запрета на просмотр других страниц.

Используйте отчёты с пользой

Например, отчёта Google Search Console даёт ценные сведения о том, какие ошибки есть в ваших sitemap, но он полезен не только для простой валидации.

Рассмотрим сайт, на котором 131 тысяча страниц. Из-за такого количества понадобится сразу несколько файлов. Некоторые, следуя рекомендациям Google и Schema.org, дают им нумерованные названия, и в результате получается нечто наподобие:

Далеко не самые информативные названия. Да и сведения о том, что в районе 64% страниц проиндексировано  — не самые полезные. Гораздо интереснее понять, какие именно типы страниц показывают неудовлетворительные результаты. Если продолжить изучать sitemap-1, sitemap-2 и так далее, вы вряд ли что-то поймёте. Совсем другое дело, когда у вас взаимовложенная структура этих файлов, и название каждого отражает сущность собранных в нём страниц.

Из такого отчёта можно понять, какие конкретно разделы проседают в индексации и что предпринять для улучшения ситуации.

Отследить общую эффективность вследствие оптимизации ресурса поможет Сквозная аналитика Calltouch.

Сквозная аналитика

 от 990 рублей в месяц

  • Автоматически собирайте данные с рекламных площадок, сервисов и CRM в удобные отчеты
  • Анализируйте воронку продаж от показов до ROI
  • Настройте интеграции c CRM и другими сервисами: более 50 готовых решений
  • Оптимизируйте свой маркетинг с помощью подробных отчетов: дашборды, графики, диаграммы
  • Кастомизируйте таблицы, добавляйте свои метрики. Стройте отчеты моментально за любые периоды

Узнать подробнее

Как создать sitemap.xml

Методы создания XML Sitemap:

  • Внешние плагины. Если в CMS нет функционала генерации карты сайта, и она поддерживает плагины, погуглите, какой из плагинов закрывает вопрос sitemap.xml для вашего движка и установите его. В некоторых случаях необходимо обратиться к программистам, чтобы они написали вам подобный плагин.
  • Отдельный скрипт на сайте. Зная протокол XML карты и технические ограничения, можно создать sitemap.xml самостоятельно, добавив скрипт генерации в CRON. Если вы не программист, используйте другие пункты этого списка.
  • Генераторы Sitemap. Существует множество генераторов sitemap.xml, которые сканируют ваш сайт и дают скачать готовую карту. Недостаток здесь в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап.
  • Парсеры. Десктопные программы, предназначенные для технического анализа сайта, обычно предоставляют возможность скачать sitemap.xml, сгенерированный на основе просканированных страниц. Работает аналогично генераторам sitemap, только запускается локально на своей машине.

Популярные онлайн-генераторы карты сайта

XML-Sitemaps.com

Позволяет получить sitemap.xml в несколько кликов. Поддерживает форматы XML, HTML, TXT и GZ. Удобно использовать для небольших сайтов (до 500 страниц).

Похожий генератор, но имеет чуть больше настроек и позволяет создать карту до 2000 страниц бесплатно.

Имеет множество настроек, позволяет импортировать URL-адреса из CSV-файла. Бесплатно сканирует до 500 урлов.

Check Domains

Не имеет лимитов на количество страниц для сканирования. Но для больших сайтов процесс генерации может подвисать на несколько десятков минут.

Локальные программы для генерации XML Sitemap

Screaming Frog SEO Spider

Гибкий инструмент генерации карты сайта с множеством настроек. Удобно, если вы уже пользуетесь скримин фрогом для других SEO-задач. После сканирования сайта используйте пункт меню Sitemaps -> Create XML Sitemap.

Netpeak Spider

Менее гибкое, но тоже удобное решение для быстрой генерации sitemap.xml. После сканирования сайта необходимо использовать пункт меню Инструменты -> Генерация Sitemap.

Создание Sitemap XML на WordPress

Yoast SEO
Помимо прочих функций, полезных для SEO, позволяет генерировать sitemap.xml.

Google XML Sitemaps
Простой плагин для генерации Sitemap на WordPress.

WP Sitemap Page
Еще один плагин для WordPress, если предыдущие не подошли.

Sitemap.xml должен обновляться сразу же, как на сайте появляются новые страницы. Однако, в случае, если на сайте страницы появляются часто и пачками, то Sitemap целесообразно генерировать примерно раз в час. Убедитесь, что в карту сайта не попадают дубли, несуществующие страницы или содержащие редирект. Например, страницы пагинации и сортировки в sitemap.xml включать не нужно. Идеальный sitemap состоит из страниц основных разделов и подразделов сайта и конечных узлов (статьи, карточки товара и пр).

Свойства

Возвращает элемент управления SiteMapNode, представляющий запрашиваемую в данный момент страницу.Gets a SiteMapNode control that represents the currently requested page.

Возвращает логическое значение, показывающее, указан ли поставщик карты веб-узла в файле Web.config и разрешен ли он.Gets a Boolean value indicating if a site map provider is specified in the Web.config file and if the site map provider is enabled.

Возвращает объект SiteMapProvider, используемый по умолчанию для текущей карты веб-узла.Gets the default SiteMapProvider object for the current site map.

Возвращает доступную только для чтения коллекцию именованных объектов SiteMapProvider, которые доступны в классе SiteMap.Gets a read-only collection of named SiteMapProvider objects that are available to the SiteMap class.

Возвращает объект SiteMapNode, который представляет страницу верхнего уровня структуры переходов веб-узла.Gets a SiteMapNode object that represents the top-level page of the navigation structure for the site.

Способы создания Sitemap XML

Интегрирование в CMS. Многие современные системы управления сайтами уже имеют встроенные функции генерации карты веб-ресурса. Чтобы узнать о наличии подобной функции в определенном движке, придется внимательно изучить техническую документацию. Обычно соответствующая опция находится в настройках администратора. Также всегда можно уточнить детали в службе поддержки программного продукта. Еще можно попробовать с помощью браузера перейти по адресу https://вашсайт.com/sitemap.xml. Есть большая вероятность, что файл Sitemap XML не только уже сгенерирован, но и динамически обновляется.

Отдельный скрипт. Если хорошо разобраться в протоколе XML-карты и технических спецификациях, то можно своими силами создавать код для генерации карты сайта. Это удобный и рациональный способ, но он подходит только для программистов. Если вы таковым не являетесь, то лучше пользоваться любыми другими методами.

Внешние плагины. Если ваша CMS не умеет самостоятельно генерировать карту сайта, то это всегда можно сделать посредством стороннего плагина. С помощью все тех же поисковиков можно без проблем найти дополнения практически для любой системы администрирования сайтами. В специфических случаях можно привлечь программистов для создания уникального плагина для конкретной платформы.

Компьютерные парсеры. Это специальное программное обеспечение, которое устанавливается на рабочем ПК. С помощью программы проводится глубокий технический аудит сайта. В том числе на основе его результатов можно получить доступ к файлу Sitemap XML, сформированному методом сканирования структуры проекта.

Генераторы карты сайта. Сегодня в открытом доступе работают десятки автоматических генераторов карты сайта. Они сканируют ресурс, после чего формируют файл в заданном формате, который можно быстро скачать. Главным минусом такого сервиса является то, что уже после следующего обновления приходится еще раз генерировать новый Sitemap.

Какие форматы файлов можно объединить в xml-карте сайта

Какие форматы файлов можно объединить в sitemap.xml

Если речь идет об оптимизации крупного проекта, то стоит отдать предпочтение автоматизированным методам создания карты сайта

Важно понять, что Sitemap XML должен не просто присутствовать, но и передавать поисковой системе актуальные данные.

Ликвидация проблем с индексацией

Некоторым оптимизаторам кажется, что Sitemap XML – это малозначительная часть продвижения, которой можно даже пренебречь. Но это не так, более того, в некоторых случаях карта сайта становится незаменимым инструментом. К примеру, Sitemap помогает в тех ситуациях, когда с проекта регулярно отправляются в Сеть подборки страниц, но далеко не все из них успешно проходят индексацию. Это может быть крупный e-commerce-проект с каталогом на 200 тыс. товаров, 10 тыс. страниц категорий и 40 тыс. страниц подкатегорий. Но отправка в Google карты сайта с 250 тыс. адресов показывает, что в индексе находится только 174 тыс. из них.

Как мы уже говорили, поисковые алгоритмы сканируют то, что им нравится, или то, до чего они «дотянулись», но с меньшим энтузиазмом. Поэтому нужно выяснить причину, почему в индексацию не попало значительное количество товаров. Для этого стоит разделить товары по разным категориям, создав для каждой собственный Sitemap XML. Внесение изменений в карту сайта поможет методом исключения определить, почему некоторые страницы не проходят индексацию.

Для начала в качестве гипотез используем самые распространенные причины отказа поисковых систем от индексации. Итак, сканирование не проходит на страницах:

  • без графического изображения товара или иллюстрации услуги;

  • если описание в карточке товара имеет низкую уникальность или объем до 200 слов;

  • отсутствуют отзывы, комментарии или другие факты пользовательской заинтересованности.

В каждую карту сайта необязательно добавлять все ссылки категории. Главное – включить туда достаточно адресов для того, чтобы по итогам эксперимента можно было сделать однозначный вывод. Обычно для проверки гипотезы требуется 20–50 контрольных образцов для каждой подборки.

Расположение sitemap.xml

xml-карта сайта располагается в корневом каталоге

Сама проверка гипотез на основе Sitemap XML проводится таким образом. К примеру, у вас возникло предположение, что страницы не индексируются из-за отсутствия картинок в карточках товара. В контрольную группу новой карты сайта нужно добавить ссылки на страницы, где графический контент был добавлен. Если страницы будут проиндексированы, то нужно будет внести соответствующие изменения по всему ресурсу. Если опыт не дал результата, то стоит проверить другие гипотезы, которые получится придумать.

Как создать Sitemap с помощью YoastSEO и All in one SEO pack

Есть два классных инструмента это YoastSEO и All in One SEO Pack, оба умеют генерировать sitemap.

Yoast SEO

В YoastSEO, достаточно сделать одну операцию, входим в раздел Общие > вкладка Возможности и перемещаем в положение ВКЛ переключатель.

Включение в Yoast

Мгновенно генератор создаст виртуальный документ и вы сможете зайти по адресу, который показывал ранее.

All in one SEO pack

Для включения в All in one SEO pack активируем соответствующий модуль. Переходим в меню AIOSP в раздел модули и активируем.

Модуль в AIOSP

Далее рекомендую сделать настройки, как на скриншоте, не включая таксономии, но если они нужны, то отмечаем.

Выключение таксономий

Смогли создать xml на WordPress с помощью SEO плагинов, но не советую, применяйте первый способ. Для большей наглядности процесса приложу авторское видео.

Зачем нужна карта сайта?

HTML карта сайта служит навигацией для ваших посетителей, благодаря ей они должны быстро сориентироваться в структуре вашего сайта и перейти в нужный им раздел.

XML карта сайта помогает найти поисковым роботам страницы вашего сайта, которые нужно проиндексировать. В случае большого количества страниц и уровней вложенности на сайте, XML карта даёт нам гарантию, что поисковые системы не пропустят страницы, которые должны быть проиндексированы. Также это показывает ваше желание помочь поисковым роботам, что повысит их доверие к вашему сайту.

Ещё одно различие обычной (HTML) карты сайта от XML версии помимо всего прочего заключается в том, что в XML нам не нужно строить упорядоченный, древовидный список (чтобы было красиво и понятно), мы можем указывать URL вразброс, так как важен сам факт их наличия, а не наглядность или последовательность.

Я считаю, что, если наличие HTML версии нужно далеко не всегда, то XML я использую даже для трёхстраничных сайтов, как минимум ради «галочки» в кабинете поисковых систем и мизерного повышения траста к своим сайтам. Делать её всего пару минут, а лишней она точно не будет.

Положительные стороны наличия XML карты сайта:

  • Более быстрая индексация новых страниц.
  • Гарантия, что робот найдёт нужные страницы.
  • Возможность распределения приоритетов при индексировании.
  • Возможность указания частоты обновления информации на каждой странице.
  • Возможность указания даты последнего обновления страницы.
  • Капля в сосуд доверия к вашему сайту.

Внимание!
Для файлов Sitemap должна использоваться кодировка UTF-8.
Размер XML карты сайта не должен превышать 10 MB и не должен содержать больше 50000 URL. Если ваша карта превышает данные показатели, вы можете разбить её на несколько файлов и создать файл индекса sitemap

Подробнее об этом дальше.
В XML версии все ссылки должны быть абсолютными! То есть начинаться сhttp://имя_домена/

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt.

Также поисковиками поддерживается стандартный XML-протокол. Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

XML-тегиurlset (обязательный) — указывает стандарт текущего протокола.url (обязательный) — родительский тег для каждого URL-адреса.loc (обязательный) — URL-адрес документа, должен быть абсолютным.lastmod — дата последнего изменения документа в формате Datetime.changefreq — частота изменения страницы (always, hourly, daily, weekly, monthly, yearly, never). Значение этого тега является рекомендацией поисковым системам, а не командой.priority — приоритетность URL относительно других адресов (от 0 до 1) для очередности сканирования. Если не указывается, то по умолчанию равна 0.5.

XML карта для изображений

Некоторые оптимизаторы вставляют в sitemap.xml ссылки на изображения аналогично ссылкам на html-документы. Так можно делать, но лучше для Google использовать расширение стандартного протокола и вместе с урлами отправлять дополнительную информацию об изображениях. Создавать XML карты изображений полезно, если картинки необходимо сканировать и индексировать, и при этом, они напрямую не доступны боту (например, используется JavaScript).

Пример карты сайта, содержащей одну страницу и принадлежащие ей изображения

XML-тегиimage:image (обязательно) — информация об одном изображении. Максимум может использоваться 1000 изображений.image:loc (обязательно) — путь к файлу изображения. Если используется CDN, то допустимо ссылаться на другой домен, если он подтвержден в панели для вебмастеров.image:caption — подпись к изображению (может содержаться длинный текст).image:title — название изображение (обычно короткий текст).image:geo_location — место съемки.image:license — URL лицензии изображения. Используется при расширенном поиске по картинкам.

Подробнее о файлах Sitemap для изображений:https://support.google.com/webmasters/answer/178636

XML карта для видео

Подобно карте для изображений, Google также имеет расширение sitemap протокола для видео, где можно указывать подробную информацию о видео-контенте, влияющую на отображение в поиске по видео. Видео-сайтмап необходим, когда на сайте используются видео, которые хостятся локально, и когда индексация этих видео затруднена из-за используемых технологий. Если вы на сайте внедряете видео из YouTube, то video-sitemap здесь не нужен.

Подробнее о файлах Sitemap для видео:https://developers.google.com/webmasters/videosearch/sitemaps

Файл Sitemap для новостей

При наличии на сайте новостного контента и участии в Google Новостях полезно использовать Sitemap для новостей, так Google будет быстрей находить ваши свежие материалы и индексировать все новостные статьи. В этом случае Sitemap должен содержать только адреса страниц, опубликованных за последние 2 дня и содержать не более 1000 урлов.

Подробнее о файлах Sitemap для новостей:https://support.google.com/news/publisher-center/answer/74288

Местоположение файла Sitemap

Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить

в этот Sitemap. Файл Sitemap, расположенный в каталоге http://primer.ru/catalog/sitemap.xml,

может включать любые URL-адреса, начинающиеся с http://primer.ru/catalog/, но не

должен включать URL-адреса, начинающиеся с http://primer.ru/images/.

Если у Вас есть разрешение на изменение файла http://primer.org/path/sitemap.xml,

можно предположить, что у Вас также имеется разрешение на предоставление информации

для URL с префиксом http://primer.org/path/. Примеры допустимых URL в http://primer.ru/catalog/sitemap.xml

включают:


http://example.com/catalog/show?item=23

http://example.com/catalog/show?item=233&user=3453

К недопустимым URL-адресам в файле http://primer.ru/catalog/sitemap.xml относятся

следующие:


http://example.com/image/show?item=23

http://example.com/image/show?item=233&user=3453

https://example.com/catalog/page1.html

Это значит, что все URL-адреса, перечисленные в файле Sitemap, должны использовать

один и тот же протокол (в данном случае — HTTP) и должны быть размещены на том же

хосте, что и файл Sitemap. Например, если файл Sitemap расположен по адресу http://www.primer.ru/sitemap.xml,

в нем могут быть указаны URL-адреса из субдомена http://subdomen.primer.ru.

URL-адреса, которые считаются недопустимыми, исключаются из дальнейшего рассмотрения.

Настоятельно рекомендуется поместить файл Sitemap в корневой каталог Вашего веб-сервера.

Например, если адрес Вашего сервера — primer.ru, Ваш файл индекса Sitemap должен

быть размещен по адресу http://primer.ru/sitemap.xml. Возможно, в некоторых случаях

нужно будет создать различные файлы Sitemap для различных путей на Вашем сайте (например,

если полномочия доступа в Вашей организации установлены таким образом, что доступ

с правом записи к различным каталогам предоставляется отдельно).

Если при передаче файла Sitemap используется путь, содержащий номер порта, необходимо

включить этот номер порта в путь в каждом URL, перечисленном в файле Sitemap. Например,

если Ваш файл Sitemap находится в http://www.primer.ru:100/sitemap.xml, то каждый

URL, перечисленный в файле Sitemap, должен начинаться с http://www.primer.ru:100.

Файлы Sitemap и перекрестная отправка

Чтобы отправить файлы Sitemap на несколько узлов с одного, необходимо «подтвердить»

владение узлом(-ами) для которого URL-адреса отправляются в файле Sitemap. Ниже

приведен пример. Допустим, необходимо отправить файлы Sitemap на 3 узла:


www.host1.com с файлом Sitemap sitemap-host1.xml

www.host2.com с файлом Sitemap sitemap-host2.xml

www.host3.com с файлом Sitemap sitemap-host3.xml

Более того, необходимо разместить все три файла Sitemap на одном узле: www.sitemaphost.com.

Таким образом, URL-адреса Sitemaps будут следующими:


http://www.sitemaphost.com/sitemap-host1.xml

http://www.sitemaphost.com/sitemap-host2.xml

http://www.sitemaphost.com/sitemap-host3.xml

По умолчанию это приведет к ошибке «перекрестная отправка», так как была произведена

попытка отправить URL-адреса для узла www.host1.com через файл Sitemap, который

расположен на узле www.sitemaphost.com (то же самое и для двух других узлов). Первый

способ избежать этой ошибки — это доказать свое владение (например право изменять

файлы) узлом www.host1.com. Это можно сделать, изменив файл robots.txt на узле www.host1.com,

чтобы указать на файл Sitemap на узле www.sitemaphost.com.

В этом примере файл robots.txt на узле http://www.host1.com/robots.txt содержал

бы строку «Sitemap: http://www.sitemaphost.com/sitemap-host1.xml». Изменив файл

robots.txt на узле www.host1.com с указанием на файл Sitemap на узле www.sitemaphost.com,

вы косвенно доказали, что являетесь владельцем узла www.host1.com. Другими словами,

кто бы не управлял файлом robots.txt на узле www.host1.com, он доверяет файлу Sitemap

на узле http://www.sitemaphost.com/sitemap-host1.xml на предмет содержания URL-адресов

для узла www.host1.com. Эту же процедуру можно повторить для двух других узлов.

Теперь можно отправлять файлы Sitemap на узел www.sitemaphost.com.

Если в файле robots.txt указан определенный узел, например http://www.host1.com/robots.txt,

это указывает на файл Sitemap или файл индекса Sitemap на другом узле. Скорее всего

это означает, что для каждого конечного файла Sitemap, например http://www.sitemaphost.com/sitemap-host1.xml,

все URL-адреса принадлежат узлу, который на них указывает. Это происходит потому,

что, как было указано ранее, ожидается, что файл Sitemap будет содержать URL-адреса

только с одного узла.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Adblock
detector