Склейка зеркал, robots.txt и Яндекс.Вебмастер

В нашей дизайн студии пока что нет достойного SEO-специалиста, поэтому пока что я экспериментирую с поисковой оптимизацией и всем, что с ней связано на нашем сайте. И вот, читая разные seo-блоги я наткнулся на интересную мысль — склеивание зеркал сайта. Для тех кто не в курсе: у наших с вами сайтов есть как минимум два зеркала c www и  без www, например у нашего сайта www.madex-design.ru и madex-design.ru. Так вот, чтобы не было путаницы можно сделать переадресацию с одного на другой, но надо сперва выбрать основной, например, посмотрев какой основным считает Яндекс в результатах поиска.

Для этого надо всего лишь добавить пару строк в файл .htaccess

Для основного домена без www (madex-design.ru):

RewriteCond %{http_host} ^www.madex-design.ru [NC]

RewriteRule ^(.*)$ http://madex-design.ru/$1 [R=301,NC]

Для основного домена с www (www.madex-design.ru):

RewriteCond %{http_host} ^madex-design.ru [NC]

RewriteRule ^(.*)$ http://www.madex-design.ru/$1 [R=301,NC]

Имхо, www — артефакт, оставшийся со времен, когда в доменном имени было необходимо указывать службу, и сейчас является совершенно ненужным дополнением к имени сайта, поэтому я выбрал основной домен madex-design.ru.

Но вот тут меня ждал неприятный сюрприз: в Яндекс.Вебмастере я добавил свой сайт как www.madex-design.ru, а после склейки зеркал оказалось, что яндекс больше не видит файл robots.txt. Вот так номер! И ведь если бы я не решил специально для яндекса прописать дерективу host в  robots.txt, то даже бы не догадался бы посмотреть.

И что же делать?

Ну самая первая мысль, которая пришла мне в голову - поменять местами зеркала. Сработало - ротобс.тхт был увиден. На этом можно остановиться.

Я попробовал пойти дальше и решил сделать вот так:

После того как яндекс.вебмастер увидел роботс и директиву host в нем, он предложил выбрать основное зеркало сайта — я выбрал madex-design.ru, но вот яндекс сказал, что это зеркало является редиректом, после чего я снова поменял зеркала местами в .htaccess и снова подтвердил домен без www как основной. На что яндекс.вебмастер ответил: Вы выбрали madex-design.ru в качестве главного зеркала 13.11.2011. Изменения вступят в силу через 1-2 обновления поисковой базы.  После чего яндекс.вебмастер снова не видел robots.txt. Посмотрим, что будет, когда сменится основной домен.

Главный вопрос:

Интересно, а поисковый робот яндекса так же как и Яндекс.Вебмастер вдруг перестанет видеть robots.txt на одном из зеркал и проиндексирует все мои disallow разделы? — этот вопрос пока что остается для меня загадкой.