Как узнать индекс гугл

Где находится страница сайта: в основном индексе Google или дополнительном?

Основной индекс Google или Supplemental index?

Мысль написать данную статью пришла после общения на специальном форуме от Гугл, где вроде как помогают вебмастерам решить проблемы с ранжированием и индексацией сайта Гуглом. Дело в том, что не все понимают, что у Google имеются два индекса — основной и дополнительный, и если страница сайта проиндексирована, то это ещё не значит, что она будет участвовать в поисковой выдаче.

Я уже писал про такое явление, как дополнительный (Supplemental) индекс Google и причинах попадания страниц именно туда. А сейчас расскажу, как быстро проверить, куда отправилась ваша страница.

Как проверить — страница в основном индексе Google или дополнительном?

Делается всё очень просто. Во многом это аналогично просмотру кэша страницы сайта.

Сначала лучше проверить, проиндексирована ли вообще страница. Для этого в поисковую строку Гугла (или строку адреса браузера Chrome) вводим такой запрос:

вместо — «адрес» — пишем какой-нибудь URL-адрес документа, проиндексированность которого проверяем. Если он проиндексирован, то Google выдаст его в своей выдаче (в единственном экземпляре, если это уникальный адрес для всего сайта; или несколько результатов, если это адрес рубрики сайта и т.п.).

Таким образом, проверить наличие документа в индексе Google — не проблема.

Но чтобы узнать, участвует ли этот документ в поиске, следует сделать ещё одну проверку:

таким запросом мы проверим, отправил ли Гугл страницу в свой кэш. Если это произошло, то можно будет увидеть версию страницы вашего сайта, которая известна Google — он её подгрузит примерно по такому адресу — http://webcache.googleusercontent.com/… — во фрейме.

А если не произошло — то увидим такую картинку:

Документа нет в кэше Google

В большинстве случаев можно сказать, что если страница есть в кэше, то она включена в основной индекс Google.

Поэтому факт индексации сам по себе ещё ничего не значит, и не важно как быстро Гугл индексирует новые материалы на сайте и т.п. — важно, куда он их «отправляет» после этого (нужно, чтобы в основной индекс и побыстрее).

В дополнительный индекс Google часто отправляет некоторые страницы за дублированный контент. А также, если велика скорость загрузки сайта или объём веб-документов очень большой.

Ну да. Это называется «сопли». О5 же от Supplemental.
В Яндексе это принято называть фильтром «Ты последний». На самом деле как такового, этого фильтра нет. Но действие у него немного другое. Сайт появляется в основной выдаче только после нажатия на «Показать без исключения». При этом, «фильтр» накладывается на страницы с неуникальным контентом. Основой из причин, что чаще всего бывает, что страница с «объявлением» от Mainlink ранжируется как первоисточник. Здесь стоит учесть, что не стоит покупать ссылки на страницу ещё не проиндексированную и получившую достаточный трафик из ПС.

Не совсем согласен с тем, что «фильтр» накладывается на весь сайт. Он может накладываться даже не на всю страницу. Дело в том, что по факту такого фильтра-то и нет. Когда-то давно так на форуме серча (searchengines) назвали именно такую неуникальную выдачу. А если статья новая и уникальная — она не может не быть в основной выдаче, ибо текст-то уникален))

Это большое заблуждение, что уникальные тексты спасут сайт от всего на свете.

На попадание в «сопли» могут влиять разные факторы. Например, дублирование контента на сайте.
Или, может, он уникальный чисто технически — простой рерайт. И т.п.

Сообщать мне о новых комментариях к этой статье

Источник

Об индексировании

При индексировании данных в Google учитываются как запросы пользователей, так и соответствие контента нашим стандартам качества. Скорость индексирования во многом зависит от того, насколько легко обнаружить URL страниц. Если у нас не получится найти их, мы не сможем просканировать страницы, проиндексировать их и, как следствие, показать в результатах поиска. В этой статье рассказано, как добиться того, чтобы Google было проще найти ваш контент и проиндексировать его.

Различные методы управления контентом

Принимая меры, призванные помочь Google в поиске вашего контента, вы можете придерживаться как активного, так и пассивного подхода. У каждого из них есть свои преимущества и недостатки. Далее вы прочитаете о том, какие действия лучше предпринимать, чтобы ваши страницы занимали более высокие позиции в результатах поиска.

Пассивный подход

Даже если у вас нет карты сайта, наши поисковые роботы все равно стараются индексировать его контент полностью (при условии, что доступ к нему не заблокирован). Также они регулярно определяют, сколько страниц ссылается на ваш ресурс. Более подробная информация доступна в специальном руководстве.

Активное управление URL

Если вы предоставите карту сайта (то есть список его URL), мы сможем находить ваши страницы быстрее, так как не будем ограничены только ссылками с других ресурсов в Интернете. Как правило, карту сайта нужно размещать в том каталоге домена, доступ к которому есть у робота Googlebot.

Если несколько URL (например, AMP-страницы, HTML-страницы и мобильного приложения) содержат одинаковый контент, рекомендуется указать, как они взаимосвязаны. Это позволит определять, какую информацию с вашего сайта следует показать пользователю по его запросу (например, ссылку на приложение или AMP-страницу). Для этого выберите, какие страницы будут каноническими, а затем с помощью ссылок установите связи между ними и ресурсами с аналогичным контентом. Так вы позволите Google определять, какую информацию с вашего сайта следует показать пользователю по его запросу. Например, если он выполняет поиск с мобильного устройства, на котором установлено ваше приложение, то увидит ссылку на это приложение.

Отправка новых и обновленных URL в Google

Предыдущий вариант предполагает, что вы размещаете карту сайта на своем ресурсе и ждете, пока Google обнаружит информацию. Но вы можете и сами прислать нам список новых URL.

Чтобы мы могли быстро находить новые URL, достаточно создать карту сайта. Если вам нужно, чтобы мы повторно проиндексировали URL, контент которых обновился, предоставьте XML-карту сайта с временными метками.

Получив список URL, мы определим время их следующего сканирования. Сначала система проверит, есть ли указанные материалы на сервере, и только потом начнется процесс их индексирования.

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

Источник

Как быстро проверить индексацию сайта в Google и Яндекс

Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описала в этом посте способы, которые чаще всего используют SEO-специалисты.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

1. Проверьте индексацию сайта в консоли вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google. Необходимо зайти в Search Console и на вкладке «Обзор» выбрать график «Покрытие»:

Зеленым цветом на графике отмечается количество страниц в индексе без ошибок, красным — с ошибками. Перейдя на вкладку «Покрытие», можно детально посмотреть: какие ошибки возникли при индексировании данных страниц и когда они были обнаружены.

Отдельно можно проверить есть ли в индексе конкретная страница. Для этого нужно только вставить интересующий вас URL в строку поиска:

Если все хорошо, вы увидите такое сообщение:

Если страница еще не в индексе сайта, вы увидите такое сообщение:

Если вы внесли изменения в страницу, на которой раньше были ошибки, ее можно отправить на переиндексацию с помощью кнопки «Запросить индексирование»:

После отправки запроса вы увидите сообщение:

Также с помощью этой кнопки можно самостоятельно отправить новые страницы в очередь на индексацию.

Яндекс. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц без ошибок растет, и они добавляются в индекс.

Проблемы с индексацией выглядят так:

На скриншоте — сайт, закрытый от индексации в файле robots.txt

2. Используйте операторы поисковых запросов

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Например, сайт cubing.com.ua находится под фильтром АГС.

С помощью дополнительных инструментов поисковых систем можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

Также можно проверить индексацию и вид в поиске одной отдельной страницы с помощью оператора site: или просто добавив нужный вам URL в поисковую строку:

Если поисковые платформы наложили на сайт или страницу санкции и фильтры, то ссылка может не отобразиться. Тогда надежнее будет использовать специальные операторы. Для Google это оператор inurl:. Запрос будет таким:

Для Яндекса это оператор url:. Запрос будет выглядеть так:

Если страница показывается в выдаче, значит она проиндексирована, а если поиск выдал пустой результат — страницы в индексе нет.

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В этом случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать.

Плагин Seo Magic также показывает количество страниц в индексе Яндекса и Google, при нажатии на интересующую цифру — откроет выдачу поисковой системы. Кроме этого, плагин показывает и другую полезную информацию:

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете список страниц и много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Существует огромное количество бесплатных сервисов для проверки индексации. На мой взгляд, самые удобные и популярные:

Также похожий инструмент существует в сервисах Топвизор и SeRanking, но при использовании платного тарифного плана.

Почему не индексируется сайт

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров и файл robots.txt.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

5. Ошибка с X-Robot-Tag. X-Robots-Tag — HTTP-заголовок, но, в отличие от метатега robots, он находится не на странице, а непосредственно в файле конфигурации сервера. Вебмастера могут закрыть сайт, внося изменения или запуская тестовую версию, а потом забыть его удалить. Проверить, закрыт ли ваш сайт с помощью X-Robots-Tag, можно в Netpeak Spider или в консоли разработчика:

6. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для сканирования сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от сканирования, если вы видите у себя в robots.txt эту конструкцию:

Как ускорить индексацию сайта

Поисковый робот обходит ограниченное количество страниц за раз, в зависимости от размера краулингового бюджета. Но всем хочется, чтобы новые статьи, товары и категории как можно скорее попали в поисковую выдачу и начали приводить посетителей на сайт.

Страницы можно отправить на индексацию принудительно, но есть еще несколько методов для ускорения индексации сайта.

Все новые страницы должны автоматически попадать в карту сайта (sitemap). Благодаря этому файлу роботы лучше понимают структуру сайта и видят все страницы, которые необходимо посетить. Кроме того, в карте сайта можно указать приоритетность и частоту посещения страницы роботом.

Дубли страниц и неуникальный контент — враги индексации, так как они расходуют на себя краулинговый бюджет, и робот просто не доходит до нужных вам страниц. Необходимо следить, чтобы таких страниц на сайте не было.

Большое количество битых страниц, и внутренних редиректов также расходуют краулинговый бюджет. Робот попадает на нерабочие страницы или посещает те, на которых уже был из-за редиректа и не успевает просканировать новые, нужные страницы. Необходимо контролировать, чтобы битых ссылок и ссылок на страницы с внутренними редиректами было как можно меньше, или не было вообще.

Несмотря на то, что файл robots.txt является только рекомендацией, а не четкой инструкцией для роботов, пренебрегать им не надо. Новые страницы должны быть открыты для сканирования и доступны для роботов.

Скорость загрузки страницы — весомый показатель качества сайта. Время ответа сервера не должно превышать 200 мс, а скорость загрузки страницы — 3-5 секунд. Для проверки скорости загрузки страницы используйте PageSpeed Insights и выполняйте предложенные там рекомендации по оптимизации скорости.

Качественная перелинковка не только распределяет внутренний вес со страниц и увеличивает время пребывания посетителя на сайте. По ссылкам в тексте (или блоках «Новинки», «Популярное») переходит и робот, таким образом быстрее добавляя страницы в индекс и обновляя их.

Для этого же необходимо добавлять ссылку на новый материал, товар или категорию на главную страницу сайта: так их быстрее заметят и пользователи, и поисковые «пауки».

Влияние соцсетей на продвижение — спорный вопрос, но благодаря внешней ссылке на новую страницу начнут переходить пользователи, и это послужит для робота сигналом к индексации.

Важно, как часто вы добавляете на сайт новые товары, материалы и категории. Поисковые системы любят «живые» сайты. Поддерживайте актуальность сайта, публикуйте новый контент не реже раза в неделю; добавляйте ссылки на новые материалы в старых статьях; обновляйте информацию на сайте; настройте заголовки Last-Modified и If-Modified-Since или Etag и If-None-Match.

Запомнить

Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

Сайт может плохо индексироваться из-за ошибок на сайте, отсутствия файла sitemap. Также важно проверить, не закрыт ли сайт от индексации с помощью метатега robots, x-robots tag или в robots.txt.

Улучшить индексацию поможет:

Часто дело не в индексации, а в подходе к оптимизации. Отвечайте на запрос пользователя лучше всех. В таком случае все советы пригодятся вам только для фиксации хорошего результата.

Источник

Что такое дополнительный индекс Google? Supplemental Index

Как известно, поисковик Google индексирует страницы сайта побыстрее Яндекса. Но кроме того, он ещё и делит свой индекс на основной и дополнительный.

В нескольких предыдущих статьях я уже вкратце рассказывал об этом явлении:

Основной и дополнительный индексы Google

Суть разделения Гуглом своего индекса в том, что, по его мнению, есть как более качественные страницы сайта, так и менее качественные.

Качественные страницы сайта «достойны» участвовать в поисковой выдаче и конкурировать по всем запросам. Ну а некачественные — или вовсе не показываются в результатах поиска, или же выдаются только по очень редким и низкочастотным запросам (когда Гугл просто не может предложить ничего лучше).

Логично, что попадание страниц вашего сайта в подобный индекс Гугла — это весьма неприятно. Вы старались (надеюсь), генерировали контент, а Google решил, что контент ваш не очень и отправил его в Supplemental Index (что и переводится как Дополнительный индекс) — в Рунете его ещё называют «сопли».

Кстати, а как проверить, сколько страниц вашего сайта в каком индексе оказались? Это довольно просто. Можно воспользоваться тем же RDS bar (смотрите ссылку на статью про него немного выше), воспользоваться специальными сервисами для анализа сайтов или же сделать всё вручную.

Чтобы узнать число страниц, участвующих в выдаче (иногда говорят «количество страниц не под фильтром»), достаточно ввести такой запрос: site:site.ru/&

Число страниц в основной выдаче Гугла

Общее число проиндексированных страниц — такой запрос: site:site.ru/ (без амперсанда)

Общее число страниц сайта в Гугле

Причины отправки страниц в Supplemental Index

Причин всего несколько:

А также, что очень важно — частые проблемы с хостингом. Сайт web-ru.net «пострадал» от этого и пришлось менять ему сервер, читайте об этом в статье «Как перенести сайт с одного хостинга на другой?«.

Возможно, что-то ещё. Например, возраст сайта. Но это больше относится к понятию «траста» сайта, это немножко другое, хотя тоже влияет на нахождение страницы в дополнительном индексе Google. Но об этом — в следующих статьях.

Источник

Использование Indexing API

Общие сведения

Отправляя запрос в Indexing API, вы должны указывать URL конкретной веб-страницы, которую необходимо обновить в индексе Google или удалить из него.

В примерах ниже приведены действия, которые можно выполнять с помощью Indexing API.

Параметры

В таблице ниже описаны поля, обязательные для всех перечисленных действий (обновления и удаления URL).

Обязательное поле

Полный URL элемента, который нужно обновить или удалить.

Обязательное поле

Тип отправленного уведомления.

Правила

Создавая запросы на обновление и удаление URL, соблюдайте следующие правила:

Обновление URL

Вы можете сообщать нам об изменении контента, расположенного по определенным URL, а также о появлении новых URL, которые необходимо просканировать. Вот как это сделать:

Удаление URL

Чтобы запросить удаление из индекса, выполните следующие действия:

Получение статуса уведомления

С помощью Indexing API можно узнать, когда сервер Google в последний раз получал уведомления каждого из типов для определенного URL. Запрос GET позволяет узнать, успешно ли был отправлен запрос, но в нем не указывается время удаления или индексирования.

Чтобы получить статус уведомления, выполните следующие действия:

Отправка пакетных запросов индексирования

Чтобы уменьшить количество HTTP-соединений, которые должен выполнить ваш клиент, вы можете объединить до 100 запросов к Indexing API в один HTTP-запрос. Он состоит из нескольких частей и называется пакетом.

Пакетные запросы к Indexing API следует отправлять этой конечной точке:

Тело пакетного запроса состоит из нескольких частей. Каждая из них представляет собой полный HTTP-запрос с отдельным оператором, URL, заголовком и телом. Размер каждой части пакетного запроса не должен превышать 1 МБ.

Для более простой отправки пакетных запросов используйте клиентские библиотеки API Google. Чтобы узнать больше о создании пакетов с помощью библиотек для отдельных языков, перейдите по следующим ссылкам:

Перед тем как использовать примеры с приведенных выше страниц, добавьте в код обязательные данные, указанные в статье Получение токена доступа.

В теле сообщения пакетного запроса, приведенного ниже, содержатся уведомления об обновлении и удалении:

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

Источник