Карта сайта (Sitemap.xml) – это специальный файл в формате.xml, хранящийся в корневой директории сервера. Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной.
Видео из Вебмастерской Яндекса:
Sitemap.xml составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.
Есть два основных файла, которые должны иметься у любого web-проекта - robots.txt и sitemap.xml . Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.
Если у вас отсутствует sitemap, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:
Создание sitemap.xml помогает решить эту проблему.
Sitemap.xml влияет на SEO косвенно: облегчая и ускоряя индексацию страниц.
Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта - это страница сайта , на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей , нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограничения по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.
Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.
Обычно, файл sitemap в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.
HTML карта сайта - это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.
Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:
1. http://site.ru/ 2. http://site.ru/page/ 3. http://site.ru/page1/
Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt - это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.
XML карта сайта - это файл формата xml, вида sitemap.xml , который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта:
Содержимое карты сайта — лишь рекомендация для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.
Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:
Содержимое файла карты сайта sitemap.xml выглядит:
Где используются следующие обязательные теги:
Changefreq указывает на частоту изменений страницы:
Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1 (низкий) до 1 (высокий).
Файл sitemap.xml должен содержать указание на пространство имен языка XML:
Xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.
Здесь используются уже знакомые нам теги
Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта . Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.
Как уже было написано выше - файл карты сайта размещается в корне сайта . Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта - это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта , провести анализ карты сайта на корректность , соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.
Второй способ указать поисковым системам на расположение файла карты сайта - это директива Sitemap файла robots.txt .
Sitemap: http://site.ru/sitemap.xml
В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.
Создать карту сайта для WordPress можно будет с помощью плагина Google XML Sitemaps. Для нее вы сможете произвести множество настроек, которые позволят исключить часть материалов вашего сайта, а также можете задать предполагаемую частоту обновления. Кроме создания карты, плагин Google XML Sitemaps при публикации новых материалов на вашем блоге уведомляет об этом многие поисковые системы, приглашая их побыстрее провести индексацию.
Путь до файла сайтмап можете задать сами в настройках плагина и даже можете дать ему название отличное от классического sitemap.xml.
Создать карту сайта для Joomla можно с помощью компонента Xmap.
Чтобы не обманывать поискового робота sitemap.xml должна быть настроена без ошибок. Поэтому после каждого обновления файла нужно проверить sitemap на битые ссылки .
Зайдите в Яндекс Вебмастер — раздел «Инструменты» — «Анализ файлов Sitemap».
Выберите один из способов загрузки файла:
Зайдите в Google Search Console — раздел «Сканирование» — «Файлы Sitemap».
Инструмент от pixelplus.ru — Анализ XML-карты сайта . Он простой, крутой и понятный.
Указываем карту сайта (URL) или загружаем XML-файл.
Выбираем, требуется ли проверка кода ответа сервера для каждого URL в ней.
Инструмент позволит проверить корректность карты сайта (файла формата *.xml), а также найти:
Ошибки валидности файла.
Те URL, которые отдают код ответа не 200 OK.
Прочие ошибки (указание на URL с другого домена, избыточный размер файла или числа URL в нём и так далее).
Напомним, что число допустимых URL в одном файле - 50 000 штук, а размер файла не должен превышать 10 МБайт.
Если будут найдены ошибки (такое случается часто), то сервис подскажет, какие URL отдают некорректный ответ (удалены, лишние и так далее).
Карта сайта - один из важный инструмент SEO-продвижения сайта. Не важно, как будет создана карта сайта. Важно - какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже - запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.
Создайте карту сайта для своего ресурса. Но будьте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.
Яндекс Вебмастер позволяет:
Чтобы добавить файл Sitemap в очередь на индексирование, вам нужно, как и всегда, зайти в сервис Вебмастера — webmaster.yandex.ru. Далее:
После добавления, файл попадает в очередь на обработку. Робот добавит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в индекс Sitemap, обрабатывается роботом отдельно.
После загрузки напротив каждой карты сайта вы увидите в Яндекс Вебмастере один из статусов:
| Статус | Описание | Примечание |
|---|---|---|
| «OK» | Файл сформирован правильно и загружен в базу робота | Напротив файла отобразится дата последней загрузки.Проиндексированные страницы появятся в результатах поиска в течение двух недель |
| « » | Указанный URL перенаправляет на другой адрес | Удалите редирект и сообщите роботу об обновлении |
| «Ошибка» | Файл сформирован неправильно | Нажмите ссылку Ошибка, чтобы узнать подробности. После внесения изменений в файл сообщите роботу об обновлении |
| «Не проиндексирован» | При обращении к Sitemap сервер возвращает HTTP-код, отличный от 200 | Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.Если файл доступен, сообщите роботу об обновлении |
| Доступ к файлу запрещен в robots.txt с помощью директивы Disallow | Разрешите доступ к Sitemap и сообщите роботу об обновлении |
Когда в Sitemap происходят изменения, его не нужно удалять из Яндекс Вебмастера и добавлять заново. Поисковик время от времени сам проверяет его на изменения и ошибки.
Если ваш Sitemap не проиндексирован, то это можно ускорить. Нужно зайти в раздел «Индексирование», далее в пункт «Файлы Sitemap». Нажать на значок обновления напротив нужноq карты сайта. Яндекс загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.
Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.
В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице «Файлы Sitemap» :
Если для Sitemap была добавлена директива в файле robots.txt, удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.
Яндекс принимает Sitemap в форматах:
Предпочтительней передавать в формате XML, т.к. в нем можно передать дополнительные данные.
Яндекс поддерживает протокол Sitemap . Используйте этот формат, если хотите сообщить о:
В данном формате можно передать только адреса страниц. И всё. Да, грусть и печаль, лучше используйте XML 🙂
Используйте этот формат, чтобы сообщить только об адресах страниц.
Https://сайт/ssylki-v-yandex-webmaster/ https://сайт/zerkala-sajta-v-yandex-webmaster/
Чтобы передавать информацию о видео, в Sitemap укажите ссылки на XML-фиды (см. подробно в Помощи сервиса Я.Видео).
Поиск не поддерживает передачу информации об изображениях, RSS и Atom-фидов с помощью файла Sitemap.
Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:
Добавить Sitemap.xml в Яндекс Вебмастер — видео
Статья обновлена!
XML карта – это путеводитель по вашему сайту. Этот путеводитель создается специально для поисковых роботов и помогает им найти все страницы, которые нужно проиндексировать.
XML карта находится в корне вашего сайта и обычно доступна по адресу site.ru/sitemap.xml . Роботы узнают о ее существовании двумя путями (которые не взаимоисключают, а взаимодополняют друг друга):
Прежде всего, карта сайта содержит список страниц сайта – это обязательно. Также она может содержать параметры этих страниц , такие как:
Карту сайта можно сделать самому вручную, но согласитесь, зачем тратить на это время, если есть бесплатные онлайн генераторы XML карт? Ниже я рассмотрю некоторые из них.
Один из самых простых в использовании сервисов генерации XML карты. Здесь достаточно указать только адрес сайта и нажать кнопку «Создать». Но такая простота является и минусом: в карту включаются и ссылки на картинки, и динамические адреса страниц.
Тут есть ограничение 5 раз в сутки с одного IP. Учитывает тег noindex. Также можно указать запрещенные к обходу пути в виде конкретных адресов страниц. Мне кажется, это не очень удобно, особенно, если таких страниц много. При генерации XML карты этот тул включает ссылки на картинки.
Учитывает директивы в robots.txt, noindex, пропускает ссылки с атрибутом nofollow. Также присутствует функция фильтра данных, которая позволяет убрать из карты страницы с определенными частями в адресе (например, .jpg). Правда, в бесплатной версии доступен только один такой фильтр. Также бесплатная версия позволяет загружать максимум 500 страниц и генерировать 3 XML карты в день с одного IP адреса.
Бесплатная версия этого генератора ограничивает количество страниц до 500. Полезная функция – исключение динамических параметров при генерации XML карты. Лично мне этот тул понравился тем, что он по умолчанию не включил картинки, когда я его тестила.
Здесь с одного IP адреса можно генерировать одну XML карту в день. Как и предыдущий сервис, этот позволяет исключать урлы с указанными параметрами, а также по умолчанию не добавляет ссылки на картинки. Примечательно, что этот сервис позволяет включать и поддомены в XML карты, единственное условие: эти поддомены должны быть добавлены в Google Webmaster Tools. Обратите внимание, что в бесплатной версии адрес сайта нужно вводить без слэша “/”. Этот сервис также помогает , так что после генерации карты появляется 2 ссылки на скачивание: на саму XML карту и на список битых ссылок, найденных при ее генерации.
После генерации карты, стоит ее проверить: не остались ли там лишние страницы, которые не нужны в индексе (например, те, которые исключены в robots.txt). Правильность составления карты можно проверить с помощью специального
Файлы robots.txt и sitemap.xml дают возможность организации индексации сайта. Эти два файла хорошо дополняют друг друга, хотя в то же время решают противоположные задачи. Если robots.txt служит для запрета индексации целых разделов или отдельных страниц, то sitemap.xml, напротив, подсказывает поисковым роботам, какие именно УРЛ-адреса нужно индексировать. Разберем каждый из файлов в отдельности.
robots.txt - это файл, в который записываются правила, ограничивающие доступ поисковым роботам к каталогам и файлам сайта для того, чтобы избежать попадания их содержимого в индекс поисковых систем. Файл обязательно должен располагаться в корневой директории сайта и быть доступен по адресу: site.ru/robots.txt.
В robots.txt нужно закрывать от индексации все дублирующиеся и служебные страницы сайта. Часто общедоступные CMS создают дубли, статьи могут быть доступны по нескольким УРЛ-адресам одновременно, например; в категориях site.ru/category/post-1/ , тегах site.ru/tag/post-1/ и архиве site.ru/arhive/post-1/ . Для того, чтобы не было дублей, необходимо запретить индексацию тегов и архива, в индексе останутся только категории. Под служебными страницами, я имею в виду, страницы администраторской части сайта и автоматически генерируемые страницы, например: выдачу при поиске на сайте.
От дублей просто необходимо избавляться, так как они лишают страницы сайта уникальности. Ведь если в индексе находятся несколько страниц с одинаковым содержимым, но доступные по разным УРЛ-адресам, то контент ни одной из них не будет считаться уникальным. В следствие этого поисковые системы принудительно будут занижать позиции таких страниц в выдаче.
Директивы - это правила или можно еще сказать команды для поисковых роботов. Самой главной является User-agent , с ее помощью можно установить правила для всех роботов или для конкретного бота. Эта директива прописывается вначале, а после нее указываются все остальные правила.
# Для всех роботов User-agent: * # Для робота Яндекса User-agent: Yandex
Еще одной обязательной директивой является Disallow , с ее помощью закрываются разделы и страницы сайта, а ее противоположностью является директива Allow , которая напротив принудительно разрешает индексировать указанные разделы и страницы сайта.
# Запрещаем индексацию раздела Disallow: /folder/ # Разрешаем индексацию подраздела с картинками Allow: /folder/images/
Для того, чтобы указать главное зеркало сайта, например: с www или без, используется директива Host . Стоит отметить, что главное зеркало прописывается без указания http:// протокола, а вот https:// протокол необходимо указывать. Host понимают только боты Яндекса и Mail.ru и прописывать директиву нужно только один раз.
# Если главное зеркало работает по http протоколу без www Host: site.ru # Если главное зеркало работает по https протоколу c www Host: https://www.site.ru
Sitemap - директива, указывающая путь к файлу sitemap.xml, путь необходимо указывать полностью с протоколом, прописывать данную директиву разрешается в любом месте файла.
# Указываем полный путь к файлу sitemap.xml Sitemap: http://site.ru/sitemap.xml
Для упрощения написания правил существуют специальные символьные операторы:
После знакомства с основными директивами и специальными операторами уже можно набросать содержимое простенького файла robots.txt.
User-agent: * Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php User-agent: Yandex Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php # Разрешаем роботом Яндекса индексировать изображения в разделе modules Allow: /modules/*.png Allow: /modules/*.jpg Host: site.ru Sitemap: http://site.ru/sitemap.xml
Ознакомиться с подробным описанием всех директив с примерами их использования можно в публикации на сайте Яндекса в разделе помощь .
sitemap.xml - это так называемая карта сайта для поисковых систем. Файл sitemap.xml содержит информацию для поисковых роботов, о страницах сайта, которые необходимо индексировать. В содержимом файла обязательно должны быть указанны УРЛ-адреса страниц, а необязательно можно указать приоритет страниц, частоту переобхода страниц, дату и время последнего изменения страниц.
Необходимо отметить, что sitemap.xml не обязателен, и поисковые системы могут его не учитывать, но в то же время все поисковики говорят о том, что наличие файла желательно и помогает правильно индексировать сайт, особенно, если страницы создаются динамически или на сайте сложная структура вложенности.
Вывод напрашивается один: что файлы robots.txt и sitemap.xml необходимы. Правильная настройка индексации - это один из факторов нахождения страниц сайта на более высоких местах в поисковой выдаче, а это цель любого более-менее серьезного сайта.
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Предположим у вас есть сайт, забитый уникальным контентом, на котором проведена SEO оптимизация и сидите вы, потирая ладошки в ожидании, когда же ваше детище начнет посещаться поисковым роботом, индексироваться и приносить заветный трафик. Идет время, а результат ваших стараний не особо-то и виден. В чем же дело? Возможно, что-то все же было упущено из виду, что-то да забылось в погоне за ништяками. Предположим, что сайт по-прежнему уникальный и оптимизаторы из вас хоть куда. Тогда нужно разбираться, почему поисковик так неохотно вас посещает и по какой причине все происходит так медленно.
Каждый web-проект должен иметь два важных, а может и основных файла: это роботс (robots.txt) и карта сайта (). Если какой-то из них отсутствует или неверно заполнен, велика вероятность, что ресурс не даст того результата, на который вы рассчитывали. Ведь у поисковых ботов есть заданные ограничения как по времени нахождения на ресурсе, так и по количеству документов, которые они могут проверить и занести в базу. А это все к тому, что если вами не были заданы пути перемещения для поискового робота, то он может добраться до контента очень нескоро, перед этим побродив в файлах движка.
Чтобы избежать подобной неразберихи, в файле роботс мы говорим, на что ботам не стоит тратить время, а с помощью карты сайта, наоборот, подсказываем куда следует заглянуть и где побродить.
Предположим, что у нас все срослось и поисковики начали индексировать наш проект, а вот отсутствие второго может затянуть достижение поставленных целей. А теперь подробнее про создание sitemap.
Sitemap.html выступает в роли навигации для гостей нашего ресурса, которая помогает понять структуру сайта и найти интересующий их раздел.
Sitemap.xml подсказывает и помогает поисковым ботам обнаружить и начать индексировать страницы нашего проекта. Если мы имеем большой уровень вложенности и многочисленное количество веб-страниц на сайте, XML гарантирует, что боты не упустят из вида, то что нужно проиндексировать. Как приятный бонус мы получаем плюсик к карме в виде увеличения доверия к ресурсу со стороны поисковиков.
Важно!
Берем любой текстовый редактор, например Notepad++, и начинаем творить.
Первым блоком идет стандартная часть, в которой мы указываем:
Значения тегов:
Сохраняем получившийся файлик в формате XML и помещаем его в . Далее указываем путь к нему в robots. txt прописывая данную строчку:
http://Наш сайт/sitemap.xml
Либо мы можем использовать один из онлайн-генераторов. Например, , который рассчитан на создание не больше чем 500 страниц. Но зачастую больше и не надо, поэтому работаем с ним.
В первую строку вписываем полный URL нашего сайта с http://Наш сайт.
Вторая строка, которая называется « Change frequency», показывает поисковым роботам, как часто будут обновляться веб-страницы. Можем выбрать: never, weekly, daily, hourly, monthly, yearly.
Третья строка « Last modification » показывает, когда последний раз обновлялась страница, можем выбрать либо дату когда мы решили создать карту сайта, либо выбрать « Use server’s response » - тогда генератор автоматически внесет дату последнего изменения.
И четвертая строка « Priority», как мы уже ранее обсуждали позволяет выбрать приоритет к индексации, выбираем « Automatically Calculated Priority ».
Нажимаем кнопку «Start» и ждем когда сгенерируется карта сайта в формате XML , после опять проделываем манипуляции с помещением в корень и указания пути в robots.txt.
Заходим в Вебмастер и действуем следующим образом.
Выбираем проверку карты сайта:
И задаем путь к нашему файлу sitemap.
Проверяем что получилось:
Убеждаемся, что все в порядке и отправляемся на поклон к Google.
Для того чтобы попасть в Search Console Гугл, в которой, собственно, и можно сообщить о нашей карте, переходим
Обновляем страницу - перед нами результат проверки и если в колонке «Проблемы» стоит прочерк, значит, мы все сделали правильно.
Создать и разместить файл sitemap. xml на ресурсе по факту минутное дело, для этого можно использовать любой текстовый редактор или онлайн-генератор. Если у вас есть карта сайта на своем ресурсе вы ускоряете и упрощаете жизнь поисковому роботу, который следует по указанному пути и индексирует нужные страницы. Это значит, что результат вашей работы по оптимизации имеет шанс быстрее стать заметным. Но важно не забывать про карту сайта и периодически ее обновлять, т.к. страница может перестать участвовать в продвижении, а боты будут продолжать ее посещать, что отразится на позициях. Также наш XML-проводник может служить помощником не только роботам, но и воришкам контента, ведь в sitemap мы указываем нужные нам документы, что значительно упрощает жизнь копипастерам. Поэтому рекомендуем периодически проверять контент вашего ресурса на уникальность. Соблюдая эти правила вы повышаете доверие поисковых систем Google и Яндекс к своему ресурсу.
