Расширение настроек зеркал в вебмастере. История о том, как я сменил главное зеркало Как установить главное зеркало

правильно его использовать .

Команда Яндекс.Вебмастера

Сегодня мы хотим рассказать о расширении функциональности инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .

Команда Яндекс.Вебмастера

","contentType":"text/html"},"proposedBody":{"source":"

Команда Яндекс.Вебмастера

","contentType":"text/html"},"authorId":"30364427","slug":"19180","canEdit":false,"canComment":false,"isBanned":false,"canPublish":false,"viewType":"old","isDraft":false,"isOnModeration":false,"isSubscriber":false,"commentsCount":67,"modificationDate":"Tue Jul 08 2014 20:20:00 GMT+0000 (Coordinated Universal Time)","showPreview":true,"approvedPreview":{"source":"

Команда Яндекс.Вебмастера

инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .","contentType":"text/html"},"proposedPreview":{"source":"

Команда Яндекс.Вебмастера

","html":"Сегодня мы хотим рассказать о расширении функциональности инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .","contentType":"text/html"},"titleImage":null,"tags":[{"displayName":"Яндекс.Вебмастер","slug":"yandeks-vebmaster","categoryId":"153547628","url":"/blog??tag=yandeks-vebmaster"},{"displayName":"зеркала","slug":"zerkala","categoryId":"153547627","url":"/blog??tag=zerkala"},{"displayName":"главное зеркало","slug":"glavnoe-zerkalo","categoryId":"153547377","url":"/blog??tag=glavnoe-zerkalo"}],"isModerator":false,"publishCount":1,"commentsEnabled":true,"url":"/blog/19180","urlTemplate":"/blog/%slug%","fullBlogUrl":"https://webmaster.yandex.ru/blog","addCommentUrl":"/blog/createComment/webmaster/19180","updateCommentUrl":"/blog/updateComment/webmaster/19180","addCommentWithCaptcha":"/blog/createWithCaptcha/webmaster/19180","changeCaptchaUrl":"/blog/api/captcha/new","putImageUrl":"/blog/image/put","urlBlog":"/blog","urlEditPost":"/blog/569dee91cb28c8a506119926/edit","urlSlug":"/blog/post/generateSlug","urlPublishPost":"/blog/569dee91cb28c8a506119926/publish","urlUnpublishPost":"/blog/569dee91cb28c8a506119926/unpublish","urlRemovePost":"/blog/569dee91cb28c8a506119926/removePost","urlDraft":"/blog/19180/draft","urlDraftTemplate":"/blog/%slug%/draft","urlRemoveDraft":"/blog/569dee91cb28c8a506119926/removeDraft","urlTagSuggest":"/blog/api/suggest/webmaster","urlAfterDelete":"/blog","isAuthor":false,"subscribeUrl":"/blog/api/subscribe/569dee91cb28c8a506119926","unsubscribeUrl":"/blog/api/unsubscribe/569dee91cb28c8a506119926","urlEditPostPage":"/blog/569dee91cb28c8a506119926/edit","urlForTranslate":"/blog/post/translate","urlRelateIssue":"/blog/post/updateIssue","urlUpdateTranslate":"/blog/post/updateTranslate","urlLoadTranslate":"/blog/post/loadTranslate","urlTranslationStatus":"/blog/19180/translationInfo","urlRelatedArticles":"/blog/api/relatedArticles/webmaster/19180","author":{"id":"30364427","uid":{"value":"30364427","lite":false,"hosted":false},"aliases":{},"login":"webmaster","display_name":{"name":"webmaster","avatar":{"default":"0/0-0","empty":true}},"address":"[email protected]","defaultAvatar":"0/0-0","imageSrc":"https://avatars.mds.yandex.net/get-yapic/0/0-0/islands-middle","isYandexStaff":false},"originalModificationDate":"2014-07-08T16:20:29.000Z","socialImage":{"orig":{"fullPath":"https://avatars.mds.yandex.net/get-yablogs/51778/file_1461153249801/orig"}}}}}">

Главное зеркало сайта или основной домен сайта следует указывать поисковым системам для того, чтобы они точно знали какой из доменов считать основным, а какой зеркалом.

Указание главного зеркала сайта является одним из пунктов по технической оптимизации сайта. Это действие можно сделать тремя способами:

Настройкой файла robots.txt
Настройкой файла.htaccess
Настройкой соответствующих разделов в инструментах для вебмастеров поисковых систем Яндекса и Google.

Уточняю один момент. В данном посте мы рассмотрим самый распространенный случай по определению главного зеркала сайта – с WWW или без WWW.
Другие ситуации, которые возникают, например, при переезде сайта на другой домен мы опустим.

Честно говоря, современный аналитический уровень возможностей поисковых систем, на мой взгляд, может легко обеспечить решение этой задачи.

Но все ведущие специалисты по продвижению все-таки настоятельно рекомендуют проводить такую настройку.

Причем настаивают выполнять все три вышеперечисленных пункта, несмотря на то, что пункт с robots.txt носит рекомендательный характер для поисковых систем.

Настройка robots.txt

Файл robots.txt представляет собой текстовый файл с набором определенных директив. Расположен этот файл в главной директории сайта. Редактируется простейшими редакторами типа «Блокнот».

Очень хорошо и подробно описано применение этого файла и его команд в справочном разделе сервиса Яндекс Вебмастер. Также можно расширить свой кругозор в этом вопросе на сайте robotstxt.org.ua.

В этой публикации нам следует указать поисковым системам главное зеркало сайта. Делается это при помощи директивы Host следующим образом:

Обращаю Ваше внимание, что эту директиву используют только для поискового робота Яндекс. Фрагмент выглядит примерно таким образом:

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
……………
Disallow: /tag
Disallow: /feedback
Host: сайт

Проверить корректность заполнения файла robots.txt можно в том же Яндекс Вебмастере. В разделе «Настройка индексирования» есть подраздел, который так и называется «Анализ robots.txt».

Отмена директивы Host в Яндексе

Поисковая система Яндекс объявила, что с марта 2018 года директива Host в файле robots.txt больше поддерживаться не будет.

Хорошо это или плохо? Скорее хорошо. Ведь Google и ранее не учитывал эту директиву. Теперь правила указания основного зеркала сайта становятся более унифицированными.

Настройка файла.htaccess

Определение главного зеркала сайта в файле.htaccess осуществляется путем настройки 301 Редиректа.

Как это делается можно . Здесь даны примеры настройки для блогов на CMS WordPress.

Файл.htaccess, как и robots.txt, также является текстовым файлом и располагается в главной директории сайта. В этом случае все его директивы должны выполняться для всего сайта. Если же такие файлы встречаются в других директориях сайта, то его команды будут действовать только в этой директории и в подчиненных ей поддиректориях.

Настройка главного зеркала сайта в инструментах вебмастеров.

Для настройки главного зеркала сайта в инструментах для вебмастеров Яндекса и Google следует иметь аккаунт в этих поисковых системах.

Также для этого следует подтвердить права на сайт. Как это делается, надеюсь, Вы уже знаете.

Заостряю Ваше внимание на одном нюансе. В инструментах вебмастеров Google следует подтверждать права как на домен с www, так и без www.

Это делается довольно просто, путем размещения небольшого файла в основной директории или указания специальных тегов.

Настройка зеркала в Яндексе

Указание главного зеркала в Яндексе происходит в разделе «Настройка индексирования». В подразделе «Главное зеркало» дается три варианта, которые следует указать. По умолчанию система выбирает – «На усмотрение робота».

Таким образом производилась настройка в старой версии Вебмастера. В новом Вебмастере Яндекса этот параметр настраивается несколько по другому. Думаю, что главное зеркало Яндекс определяет при регистрации сайта в этом сервисе. Вы ведь явно указываете протокол и URL основного домена с www или без него.

При необходимости главное зеркало можно перенастроить в разделе «Индексирование» — подразделе «Переезд сайта».

Настройка зеркала в Google

В инструментах для вебмастеров Google возможность настройки находится сразу при входе в раздел «Настройки сайта». Но еще раз повторюсь, что подтвердить права на домен придется дважды. Для домена с www и без www.

Вот такие нехитрые, но необходимые действия следует проделать, чтобы у поисковых систем не осталось вопросов о Главном Зеркале Вашего сайта или сайтов Ваших клиентов.

Полезные Материалы:

У меня часто спрашивали, лучше сделать домен с WWW или без. Я решил сделать небольшой пост-заметку по этому поводу, а так же пояснить — как сделать склейку зеркал с WWW и без.

Для начала давайте разберем, откуда вообще взялась приставка с тройным W (World Web Wide).

Дело было в 1989 году, когда Тим Бернерс-Ли придумал всемирную паутину. Гениальный был дядька, честно говоря. И фактически через год он издал первый в мире браузер с одноименным названием. Оттуда и пошла приставка с тройным WWW, чтобы было сразу видно — что это гипертекстовая ссылка. Если кто-то хочет почитать историю подробнее, то вот ссылка — Википедия .

Сейчас — 2014 год. Прошло уже более 20 лет и уже фактически каждый ребенок в мире имеющий смартфон/компьютер может понимать где ссылка. Т.е. по сути, WWW — это рудимент, который живет с 90-х годов. Многие знают, как я отношусь к подобным «динозаврам» — я их искореняю (аналогично и с IE 6, 7 и прочими старыми браузерами, и т.д.).

Я считаю, что все должно идти только вперед и развиваться. А значит — нельзя тащить за собой пережитки прошлого, просто потому что ты привык.

Поэтому ответ однозначен: Без WWW лучше, чем с ним! Не держите рядом хлам — это лишнее.

Как определить главное зеркало сайта

Бывают ситуации, когда сайт уже давно запущен, но оптимизацией занялись недавно. В таком случае неверно определенное главное зеркало может принести беду в виде переиндексации всего сайта. Поэтому я расскажу, как все правильно сделать:

Самый очевидный способ — вбить URL Вашего сайта в поиск Яндекса или Google. Поисковая система сама подсказывает, какое зеркало она считает основным. Не будем ей перечить — и воспользуемся ее советом.
Второй способ — всевозможные сервисы. Например — http://xseo.in/glue . Вбейте туда свой сайт и сервис укажет вам его основное зеркало.

Теперь мы уже определились что и с чем будем склеивать — приступим к практике.

Склейка зеркал сайта

Для того, чтобы объединить, нужно зайти в файл.htaccess в корневом каталоге вашего сайта. Если данного файла нет — создайте его. Откройте его программой Notepad ++ (она бесплатная) и допишите туда следующий код, в зависимости от того, что с чем нужно склеить.

Первые 2 директивы прописываются 1 раз на весь документ. Если они у вас уже прописаны в файле, писать заново не нужно. Вставьте лишь последние 2 строки, заменив «site.ru» на свой домен.

Основное зеркало без WWW

Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^www.site\.ru$ RewriteRule ^(.*)$ http://site.ru/$1 M/pre>

Основное зеркало с WWW

Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^site\.ru$ RewriteRule ^(.*)$ http://www.site.ru/$1

После того, как вы склеите зеркала сайта, не забудьте

Сайты могут иметь неограниченное количество зеркал, но главное зеркало сайта всегда будет единственным. Зеркалами считаются ресурсы, у которых совпадает контент. Зеркала появляются автоматически при создании версии сайта на www и без нее, при переезде на новый домен и при подключении протокола https.

Можно добавить зеркало сайта специально. Обычно это делается для удобства пользователей, когда название товара или бренда имеют разные написания: kettler.ru и ketler.ru или med.ru и myod.ru. Иногда регистрируют один домен в разных доменных зонах и ставят переадресацию на основной домен: dom.ru, dom.com, dom.info и dom.realty. Если сайт переезжает на новый домен, то также происходит добавление зеркала и смена главного зеркала.

Добавляйте зеркала сами

Директива Host. Сообщите, какой именно ресурс является главным зеркалом с помощью инструмента Яндекс.Вебмастер. Для этого укажите в файле robot.txt новое зеркало сайта с помощью директивы host. Пропишите данные правильно, иначе робот проигнорирует их. Директива host должна быть единственной. Если их прописано несколько, робот возьмет данные из первой. Лучше всего добавить ее в группу User-Agent и разместить после Disallow и Allow.

Склеивайте только сайты с идентичным содержимым. Если контент будет отличаться, робот их не склеит. Поэтому при переезде на новый домен с параллельным редизайном проводите работы поэтапно. Сначала сделайте дубликат старого сайта, затем назначьте новый домен главным зеркалом и переведите трафик на него. После этого обновляйте дизайн и вносите другие изменения в содержание.

Серверное перенаправление. Задайте серверный редирект с HTTP-кодом 301 со старого ресурса на новый. Не следует направлять все страницы старого сайта на одну страницу нового, как правило, главную. Это замедляет скорость индексации нового ресурса. Делайте редирект каждой страницы по отдельности. Файлы robot.txt должны совпадать. При перенаправлении с одного сайта на другой страницы первого ресурса начинают исключаться из поиска и трафик падает. Трафик восстанавливается, когда перенаправление полностью завершается и второй сайт становится главным зеркалом. Учитывайте, что пару недель трафик просядет.

Проверьте, чтобы при редиректе совпадали адреса с директивой host. Если они не совпадают, робот не сможет корректно индексировать. Он самостоятельно выберет главное зеркало, и им может стать не тот ресурс, который нужен. Допустим, вы переезжаете на новый домен. Посмотрите, все ли указания ведут на него.

Обеспечьте безопасность

Через Яндекс.Вебмастер недобросовестные исполнители могут забрать весь трафик на другой ресурс. Для этого достаточно иметь доступ в панель Вебмастера с правами администратора. Делается это так. Сначала создается копия основного сайта. Дизайн не важен, главное – должен совпадать контент, который либо парсят, либо копируют, если есть доступ к файлам. Затем в панели Вебмастера прописывают новое зеркало сайта, указав новый домен как основной. Сайты склеиваются, прежний убирается из индекса, и весь трафик перенаправляется на новое зеркало.

Проблемы в этом случае две. Первая – владелец может долго не подозревать о случившемся. Смена главного зеркала происходит исключительно в Вебмастере Яндекса. Для смены не требуется предоставление паспорта как при смене владельца домена. Уведомление на почту или телефон тоже не приходит. Владелец только видит по факту, что посещаемость резко снизилась до нуля. О причинах он может только догадываться.

Вторая проблема в том, что техподдержка Яндекса не реагирует на подобные случаи. По правилам, если контент у сайтов совпадает, их склеивают как зеркала. Поменять содержимое ресурса злоумышленника владелец основного сайта не может. Он может заменить только собственный контент, потеряв все наработки прошлых лет.

Чтобы не попасть в подобную ситуацию, тщательно проверяйте подрядчиков. Не воспринимайте Яндекс.Вебмастер как информационный инструмент сайтовладельца. Контролируйте деятельность исполнителей и оперативно меняйте пароли. Чаще всего мошенническая схема выглядит как бесплатная услуга для наработки портфолио. Исполнитель-фрилансер предлагает бесплатно выполнить работы по сайту за положительный отзыв. После получения доступа он прописывает собственный домен как главное зеркало и перенаправляет весь трафик к себе. Фактически «угоняет» сайт и его посетителей.

Запомните

Сайты считаются зеркалами, когда у них совпадает содержимое на 80% и больше. Зеркал может быть много, но главное зеркало - одно. Владелец может назначить главное зеркало в Яндекс.Вебмастере или робот выберет его автоматически.

Назначайте главное зеркало через директиву Host в файле robot.txt. Директива должна быть единственной. Если ошибочно указали несколько директив, робот возьмет информацию из первой. Прописывайте директиву правильно: корректный адрес домена (с www или без него), наличие https и номер порта.

При переезде на новый домен сначала создайте копию старого ресурса и назначьте ее главным зеркалом. Вносите изменения в дизайн, структуру и контент на новом сайте только после апдейта Яндекса и переходе трафика.

При редиректе учитывайте, что страницы старого сайта выпадают из индекса, и количество посетителей снижается. Объем трафика восстановится только после полного переезда на новый домен. Редирект делайте постранично.

Тщательно выбирайте подрядчиков для работы в панели Яндекс.Вебмастера. Недобросовестные исполнители могут украсть трафик, сделав копию вашего ресурса и назначив ее главным зеркалом. При обнаружении мошенничества техподдержка Яндекса не сможет помочь, потому что расклейка зеркал происходит только при замене контента на одном из сайтов.

Материал подготовила Светлана Сирвида-Льорентэ.

Главное зеркало сайта – практически 100% версия ресурса, расположена по иному адресу. Контент на ней может повторяться на 80% и более.

Поисковые системы имеют свои алгоритмы индексации. Адрес сайта с приставкой www и без неё может восприниматься, как индивидуальные ресурсы. Главное зеркало сайта, что это такое? Это тот же сайт, но по другому адресу.

Иногда ресурсы переезжают на другой домен, оставляют весь контент без изменений, но владелец забывает о редиректе. Если не подойти к делу рационально, то ТИЦ и PR слетят для каждой версии или разделятся.

Так происходит из-за того, что поисковики не понимают, где главная версия, а где копия сайта. Важно объяснить системам, что такое главное зеркало сайта. Посмотрим, как сделать работу правильно и быстро.

Как определить главное зеркало сайта без ошибок?

Введите в адресную строку браузера адрес сайта с префиксом www. Не исчезли символы и вы не попали на тот же сайт по адресу сайт.ру?

Проверяем адрес сайт.ру тем же методом. После перехода адрес сайта не изменился, не добавились символы www? Значит зеркало не настроено совсем.

Это плохо, потому как поисковики расценивают ресурс, как автономные ресурсы и все параметры разделяются между ними. Как настроить главное зеркало сайта, рассмотрим далее.

Настройка главного зеркала сайта

Как приоритетную версию ресурса выбирайте сайт без дополнения www. Как только интернет начал развиваться такие адреса считались популярными, сейчас всё идёт к упрощению.

Настраиваем зеркало в Google Search Console и Яндекс.Вебмастер

В корневой директории сайта главная и второстепенная версии прописываются файлами. Htaccess – приоритетный файл, вся информация, которая здесь значится, воспринимается, как главная. Чтобы вы не написали в robots.txt, он останется второстепенным.

В файле htaccess прописываете условие, что при попадании на адрес www, пользователь незаметно переходит на сайт без приставки в адресе. Как это смотрится в коде, смотрите в сети, это зависит от типа CMS, с которой работаете.

Но, есть один нюанс: htaccess не даёт гарантии, что сайт и зеркало будут восприниматься поисковыми системами одинаково. Дополнительно проделываете следующие мероприятия:

В панели вебмастера Яндекс находите опцию «Настройка индексации», выбираете «Главное зеркало».
Указываете один из вариантов:

Сайт с приставкой www;
Веб-сайт без приставки www в адресе;
На усмотрение поисковых систем.

Определение главного зеркала сайта должно указывать на адрес ресурса без приставки www, как уже сказано выше. Главное зеркало сайта в новом вебмастере указывается точно так же, как и в стандартной версии. Разница между ними только в дизайне и количестве функций.

С Гуглом всё проще:

Нужно зайти в Google Search Console, выбрать «Сообщения».
Находите раздел «Выберете приоритетную версию» — указывайте нужный тип зеркала, который будет главным.

Директива для Яндекса

Яндекс – специфический поисковик. Ему мало указания в htaccess, панели вебмастера для 100% результата. Дополнительно зайдите в robots.txt, и в корне директории с ресурсом, пропишите директиву, которая будет отправлять Яндекс на главную версию веб-сайта (Host).

Прописывается следующее:

Юзер адепт (User-agent), указываете Яндекс;
Дисселов (Disallow), прописываете /wp-admin;
Хост (Host) адрес своего сайта без приставки www.

Обратите внимание, что в Disallow, указываются все разделы, куда роботы от поисковой системы не должны заходить админка, cgi-bin и другие элементы, которые считаете нужным.

Выше приведён пример, где не индексируется панель администратора вордпресс. После проделанной работы поисковик правильно понимает, где главное зеркало сайта.

Создаем зеркало сайта с HTTPS, SLL

С появлением HTTPS Гугл повышает в позициях сайты, имеющие этот протокол. Считается, что подобные ресурсы безопасны. Идеально если протокол создаётся сразу при разработке сайта.

Если нет, то после перехода на безопасный протокол необходимо поставить редирект с нынешнего зеркала на основное с приставкой HTTPS. Как узнать главное зеркало сайта онлайн уже рассматривалось выше.

Когда изначально сайт с http:, но без приставки www был основной версией, а такой же сайт с приставкой – дополнительной версией, то после изменений версия https: станет основным вариантом, а перечисленные пойдут, как дополнительные зеркала.

Причина перехода сайта на новый домен с приставкой в адресе s – повышенный уровень безопасности данных после получения сертификата SSL. Информация при попадании на сайт будет шифроваться, что снижает риск её попадания в третьи руки.

Проверить главное зеркало сайта стоит с сертификатом или без него можно способами, перечисленными выше.

Мониторим страницы, попавшие в индекс

Финальная проверка проделанной работы – мониторинг проиндексированных страниц. Проверяются показатели посещаемости и количество страниц в поисковиках не раньше, чем через 14 дней.

Адекватный результат увидите через месяц. Проделанная работа привела к ожидаемому результату? Если нет, то ищите ошибку. Код должен быть идеальным, лишняя точка может сделать файлы.htaccess и роботс бесполезными.