Опубликовано в 
Теги: 
Сопли – дополнительный индекс Google или неправильная индексация сайта поисковыми системами.
Как индексировать наши сайты мы сообщаем поисковым роботам в файле robots.txt.В этом файле мы разрешаем или запрещаем индексировать поисковику определённые страницы нашего сайта.
Также плагин google-sitemap-generator (карта сайта для поисковиков) генерирует файл http://traffik-s-nula.ru/sitemap.xml – у вас своё доменное имя, и помещает в корневую папку нашего сайта.Этим файлом мы показываем поисковикам все страницы сайта.При наличии этого файла в корневой директории сайта его индексация увеличивается во много раз.Да и робот чаще в гости заходит.
Просматривая этот файл при индексировании нашего сайта поисковый робот видит все страницы нашего сайта которые мы ему показываем и загружает их.Некоторые страницы (обычно меньше) поисковый робот помещает в поисковой выдаче.Вот с этих страниц и идёт поисковый трафик к которому мы стремимся(после продвижения: покупка ссылок, поведенческий фактор и тому подобное).Вот для чего нужно обязательно устанавливать плагины карта сайта, о чём я и рассказал Вам в этой статье.
Сегодня речь пойдёт о индексации страниц Google.
Помните, когда мы создаём свой сайт или блог то ссылки на наши страницы имеют один вид(traffik-s-nula.ru/%%%%%%%/%%).
Потом мы изменяем окончания ссылок кому как нравится(Я поменял на traffik-s-nula.ru/page/1 page/2 и так далее).
Ну и наконец мы устанавливаем плагин (например) ЧПУ – человеко понятные урлы (traffik-s-nula.ru/statistika/indeksatsiya-stranits-dopolnitelnyiy-indeks-google).И всё это время поисковик индексирует наш сайт, находит одинаковые страницы, но под разными ссылками (примеры Выше в скобках).
Примеров окончаний ссылок и способы их образования может быть множество.
В итоге поисковик видит кучу дублей, Одинаковых страниц c одинаковым содержанием, расценивает их как некачественные(мусорные) и помещает их в дополнительный поиск.
Итак, определяем сколько всего проиндексировано страниц в Google:
В первой вкладке :
В поиск Google нужно ввести следующую команду: site:ваш сайт.ru
Пример site:traffik-s-nula.ru
Определяем проиндексированные страницы Google, которые находятся в основном поиске , чистые страницы в глазах поисковика.
Ещё в одной вкладке :
Вводим следующую команду: site:ваш сайт.ru/*
Пример site:traffik-s-nula.ru/*
Вы определили проиндексированные страницы, и увидели какие страницы Google включил в основной поиск, то есть считает чистыми, с них и пойдёт поисковый трафик.
Разница в количестве , вероятно будет очень велика, но не у всех.Зацените сколько же у Вас мусора по мнению Google.И очень хорошо если ещё не поздно , если Google еще не расценивает Ваш сайт Некачественным!
Какие могут быть Дубли страниц :
ссылки заканчиваются ?replytocom - создаёт система комментирования, если у вас включены древовидные комментарии (Настройки – общие в панели wordpress)
ссылки заканчиваются page/цифра - если на главной отражается несколько статей, а внизу циферки для пролистывания.
сайт/рубрика/пост – это дубль основной ссылки – сайт/пост при использовании ЧПУ.
Архивы записей тоже создают дубли – страницы с одинаковым содержанием.
Путём добавления в файл robots.txt нескольких параметров я за сутки уменьшил количество общее количество дублей на несколько сотен ссылок.Также работа в панели вебмастера Google тоже принесла положительные сдвиги по выводу блога в основной индекс.Но кардинально картину это не изменило, разве что количество ссылок с нескольких тысяч (при должно быть на данный момент 96 – столько у меня URL в файле traffik-s-nula.ru/sitemap.xml на моём хостинге) уменьшилось до ” в первой тысяче”.
Кстати, если покупаете входящие ссылки на сайт на биржах(Блогун и другие) то покупайте ссылки именно на страницы выдаваемые по команде site:ваш сайт.ru/* или site:traffik-s-nula.ru/& .Какой смысл вкладывать деньги и раскручивать ссылки сайта которые Гугл считает мусором.
Срочно проверяйте как дело обстоит у Вас.А я пока буду собирать и готовить материал как исправить индексацию страниц Google!
Многие сайты молодых вебмастеров имеют множество дублей своих страниц : нет файла robots.txt (в нем обязательно указываются урлы для запрета индексирования) в корневой папке блога, и поисковики индексируют очень много, чего не следует.Поэтому в индексе поисковиков в качестве дублированых страниц присутствуют ссылки (например: домен/рубрика/пост, домен/архив/пост, домен/пост/ все комментарии страницы любой статьи(их столько сколь и комментариев) – это разные ссылки ведущие на одну страницу, а по сути страница с многократно продублированным контентом!
Как же исправить ситуацию?
Конечно же я расскажу как бороться с дублями страниц в одном из следующих постов и дам некоторые рекомендации, но полная информация будет доступна читателям рассылки блога, поэтому если Вы ещё не получаете от меня наиболее качественную информацию, то воспользуйтесь формой, она справа.
Также результатом сопливости блога могут являться ещё некоторые причины:
Слишком короткий, длинный или не информативный заголовок поста (title)
Ворованный контент, разумеется не уникальный.
Бессвязный и не качественный контент с множеством ссылок ведущих на линкпомойки.
Исправив эти параметры постов и отправив страницы на переиндексацию как изложено в этой статье можно несколько месяцев ждать пока Гугл обновит эти страницы в кэше и переместит их в основной индекс.Поэтому возможно лучше просто удалить этот пост в админке и сделать запрос на удаление в панели вебмастера Гугл.И после этого написать новый пост об этом же используя рерайтинг и с измененными ключевыми словами, например, по компанию http://www.vvibor.ru, где представлена отличная недвижимость.
Каждый для себя решает сам, ведь это вопрос кропотливой работы.
Продолжение этой темы читайте в этом посту , а некоторые рекомендации для выхода в основной индекс вашего блога посмотрите здесь. Ну и практические рекомендации для предотвращения появления дубль ссылок на блоге почитайте на этой странице.
А по поводу борьбы с дублями ждите стратегию борьбы, которая будет доступна только читателям рассылки блога в виде мини курса.
PS: Не забывайте, что ещё и с Яндексом имеют место подобные заморочки!
Ещё немного информации про индексацию страниц Google.
Это закономерное продолжение прошлой статьи про неправильную индексацию и дубли страниц блогов или сайтов.Теперь немного теории.
Произведя действия по поиску дубль страниц изложенных в предыдущей статье Вы можете обнаружить следующие дубль страницы:
За основные страницы буду принимать ссылки ЧПУ, вид которой Вы сейчас видите у себя в браузере находясь на моём блоге.
Дубль Ссылки могут заканчиваться на:
1) page/ , page_id число образовалась если меняли в админке вид ссылок.
2) #more – если используете тег more.Он добавляет ссылку “читать далее” , “подробнее” на главную страницу и рубрики.
3) replytocom создает система комментирования
4) www.ваш сайт.ru Для поисковиков сайт без www, и с ним это два абсолютно разных сайта с одинаковым контентом(если не поставлена директива Host: в файле robots.txt , (применяется для Яндекса). Применительно для поисковой системы Гугл эта проблема устраняется в панели вебмастера Google.
5) сайт/рубрика или категори/название поста
6) фиды, в окончании ссылок имеется /feed/
Есть ещё около десятка окончаний ссылок, на каждом блоге по разному.
Пока остановлюсь на этом.
Замечу что самую большую проблему обычно создают ссылки с окончанием replytocom или comments.Как я уже упоминал данные ссылки создаёт система комментирования если в настройках админ панели блога включены древовидные комментарии.Причём даже запрет в файле robots.txt (Disallow: /*/?replytocom=*) не спасает от появления этих ссылок в дополнительном поиске Гугла, и соответственно наличие этих ссылок очень отрицательно отражается на сайте или блоге.Почему так происходит, в моём случае было так, неизвестно.Бот Гугла поступает по своему и очень часто игнорирует пожелания вебмастеров.
Поэтому попрактикуйтесь и поищите дубли страниц с вышеуказанными окончаниями ссылок на своём блоге.Если найдёте что то ещё в индексации страниц кроме указанного, то пишите в комментариях.Будем вместе разбираться.
Не забыли команды:
site:traffik-s-nula.ru все страницы, вместе с мусором.Посмотрите окончания ссылок на ваш блог, перейдя по последним из выдачи поисковиком ссылкам.
site:traffik-s-nula.ru/* чистые страницы, которые при успешном продвижении вполне могут попасть в Топ выдачи Гугла.
В идеале число ссылок при наборе обоих команд должно равняться или быть приблизительно равно количеству URL в файле http://traffik-s-nula.ru/sitemap.xml .Замените traffik-s-nula.ru на свой домен и перейдите в браузере по этой ссылке.Вы увидите все URL своего блога и их количество.Сравните количество URL своего блога с количеством выданном Гуглом при переходе по команде site:ваш домен.ru и узнайте, радоваться вам или срочно принимать необходимые действия.
Проблема дублей при индексации очень важна для продвижения своего блога, поэтому не пренебрегайте информацией и проверьте как обстоят дела на вашем блоге.
Рекомендации для выхода в основной индекс вашего блога почитайте здесь , а практические рекомендации для предотвращения появления дубль ссылок на блоге посмотрите на этой странице.
Надеюсь Вам пригодится полученная информация в индексации страниц Вашего блога.
С этим читают так же:
