Индексация сайта в Яндексе, Google и Bing
Индексацию проверяют постранично: взяли ли страницу Яндекс, Google и Bing, а если нет, то по какой причине. У нас это делает скрипт: по утрам сверяет 18 страниц и сам отправляет изменённые на переобход.
Опубликовано 29.09.2026
Как проверить индексацию сайта: восемь шагов
- Карта сайта. Проверьте, что файл sitemap.xml отдаёт все страницы, которые должны быть в поиске, и только их. Удалённые адреса из него уберите.
- Кабинеты поисковиков. Добавьте сайт в Яндекс.Вебмастер, Google Search Console и Bing Webmaster Tools и отдайте каждому карту сайта. Это бесплатно.
- Статус каждой страницы. В Вебмастере — раздел «Страницы в поиске», там же исключённые с причиной. В Search Console и в Bing — «Проверка URL».
- Запись по дням. Раз в день записывайте статус каждой страницы в таблицу. Без истории не отличить страницу, которая выпала, от страницы, которой в поиске ещё не было.
- Причина, а не факт. Если страницы нет в поиске, смотрите причину. «Малоценную или маловостребованную» у нас лечил заголовок под живые запросы из Вордстата, а не новый текст.
- Подача после правки. Изменили страницу — отправьте её на переобход в Вебмастере и в Bing и сообщите об изменении по IndexNow. Весь сайт каждый день подавать незачем: у квоты есть потолок.
- Выпала — по событию. Счётчик упал — откройте историю событий в Вебмастере. Есть запись об удалении — страница выпала, нет — это колебание выборки.
- Скрипт. Когда страниц больше десятка, попросите нейросеть написать скрипт, который делает шаги 3–7 по API поисковиков каждое утро и присылает сводку в мессенджер.
Что под какую задачу
- Сайт до 20 страниц — хватит кабинетов и проверки раз в неделю; скрипт окупается, когда правки идут каждый день.
- Блог или каталог на сотни страниц — постранично смотрите только новые и изменённые, остальное по общему счётчику.
- Сайт на конструкторе — карту сайта платформа обычно собирает сама; проверьте, что она отдана в кабинеты, а статус смотрите там же.
Ниже — как это устроено у нас: 18 страниц, три поисковика и 24 дня ежедневных снимков.
Где проект сейчас
Первые цифры поиска сняты 1 сентября 2026, постраничный снимок индексации и подача изменённых страниц заработали 3 сентября. Дальше конструкция менялась только после отказов: каждое правило ниже появилось в день, когда цифра в сводке разошлась с тем, что было на самом деле. С 29 сентября утренняя сводка собирается на сервере сайта и приходит, даже когда ноутбук выключен. Сайт и панель по-прежнему обновляются с ноутбука: там стоит браузерная проверка страниц перед выкладкой.
Что было нужно
Требование одно: каждое утро знать про каждую страницу сайта, взял ли её в поиск Яндекс, Google и Bing, а если не взял, то почему, и не открывать для этого три кабинета. Страница уходит из поиска без уведомления, и заметить это можно только по снимку, снятому до и после. Ограничение, из которого выросла конструкция: поисковики историю по страницам не хранят. Google отдаёт только сегодняшний статус адреса, у Яндекса в выборке видны страницы, по которым он ещё не решил, а Bing не говорит, что в индексе, и показывает только, открывал ли робот адрес. Поэтому история копится своя, по строке на страницу и день, и любой вывод «выпала» сверяется с событием, которое записал сам поисковик.
| Метод | Что из него взято | Каноническое имя · источник |
|---|---|---|
| Один хозяин у данных — список адресов берётся только из живой карты сайта | Удалённые 15.09 страницы тегов Яндекс держал в поиске ещё неделю, и без этого правила панель показала бы 20 страниц из 18. Счёт идёт по тем адресам, которые сайт отдаёт поисковикам сам. | Single source of truth; принцип DRYHunt & Thomas, «The Pragmatic Programmer», 1999 |
| Изоляция отказов — поисковик не ответил, остальные снимаются | Яндекс, Google и Bing опрашиваются по отдельности, у каждого свои попытки: Google до трёх с минутой между ними, Bing повторяет адрес после отказа. Сбой одной системы не останавливает снимок остальных, а сбой снимка не останавливает выкладку сайта. | Bulkhead и graceful degradationNygard, «Release It!», 2007 |
| Громкий отказ — сбой цифр, сборки или IndexNow останавливает выкладку | Если не снялись цифры поиска, не собрался сайт, не прошла проверка или IndexNow отклонил заявку, выкладка встаёт, а владельцу уходит сообщение «сайт не тронут». Молча выложенный сайт со старыми цифрами хуже, чем невыложенный. | Fail fastShore, «Fail Fast», IEEE Software, 2004 |
| Пропуск не ноль — система не ответила, клетка «?» | Нет ответа — это отсутствие замера, а не ноль страниц в индексе. Сводка пишет «не ответил» и не считает разницу со вчерашним днём. | Разделение пропуска и нулевого значенияRubin, «Inference and missing data», Biometrika, 1976 |
| Замер прежде объяснения — «выпала» только по событию Яндекса | Исчезновение страницы из выборки Вебмастера — наблюдение, а не вывод. Выпавшей страница считается, только если в ленте событий Яндекса записано её удаление с причиной; без события она «ещё не взята». | Фальсифицируемость гипотезыPopper, «Logik der Forschung», 1934 |
| Повтор без дублей — второй запуск за день переписывает строки дня | Снимок можно перезапускать сколько угодно: строки сегодняшней даты заменяются, а не дописываются. Утренний сбой сети лечится повторным запуском без ручной чистки таблиц. | Идемпотентность операцииHelland, «Idempotence Is Not a Medical Condition», ACM Queue, 2012 |
| Подача по разнице — поисковикам уходят только изменённые страницы | Выкладка сравнивает файлы на сервере по контрольным суммам, и в Яндекс, Bing и Google подаются адреса только тех страниц, которые правда изменились. Суточные квоты тратятся на правки, а не на повторы. | Алгоритм rsync: сверка по контрольным суммамTridgell & Mackerras, «The rsync algorithm», 1996 |
Как собрано
Пять скриптов на Python и пять на bash, без базы данных и очередей: история лежит в двух таблицах CSV, по строке на страницу и день и по строке на день. Ноутбук запускает цикл по расписанию, но не раньше восьми утра и только когда крышка открыта и есть сеть: ночью macOS будит машину на секунды, и без этого правила автомат полез бы на сервер в три часа ночи. Сервер сайта в 9:00 по Москве снимает те же цифры сам и шлёт сводку в Telegram. По каждому поисковику в сводке вердикт и список того, что не так, а по понедельникам ещё итог недели.
Сайт от снимка не зависит, снимок нужен владельцу.
На чём держится конструкция
Шесть правил, и за каждым стоит день, когда сводка показала не то, что было. Четыре из шести про то, как отличить потерю страницы от сбоя замера: при 18 страницах одна ложная тревога стоит больше, чем одна пропущенная.
Решения и основания
Ниже шесть решений, которые определили устройство, а не настройку. У каждого есть отвергнутая альтернатива, и она названа.
| Решение | Основание |
|---|---|
| Три поисковика, а не один Яндекс | 3 сентября Bing не открыл ни одной страницы сайта, Google держал 7 из 14. Смотреть только на Яндекс значило бы не заметить, что две другие системы сайт почти не видят. |
| Статус каждой страницы, а не общий счётчик | Общий счётчик Яндекса считает и старые адреса вне карты сайта: 26.09 на апдейте он убрал четыре удалённых тега, и общее «выпало 4» подняло тревогу там, где всё шло как надо. Постраничный снимок разводит свои страницы и чужие. |
| Причина исключения — из ленты событий | Вебмастер называет причину только в событии удаления, и только для последнего события по адресу. Скрипт берёт самое свежее событие по каждой странице, а страницу без событий помечает «ещё не брал в поиск»: это очередь, а не потеря. |
| Прямая подача вдобавок к IndexNow | IndexNow уходит при каждой выкладке, но Bing неделю не открывал ни одной страницы, а Google читает карту сайта по своему расписанию. Поэтому изменённые страницы ещё и подаются напрямую: в очередь переобхода Яндекса, в Bing адресом и готовым содержимым, в Google пересдачей карты. |
| Сводка на сервере, выкладка с ноутбука | Сводка нужна каждое утро, а ноутбук бывает закрыт. Выкладке нужна проверка страниц в настоящем браузере на шести ширинах, и держать её на сервере ради одной задачи незачем. |
| Замер нейросетей вне автоматики | Проверка упоминаний сайта в ответах нейросетей стоит около 100 ₽ за прогон и запускается руками. Сводка показывает возраст последнего замера и напоминает, когда ему больше недели. |
Чем платит конструкция
Ограничения стоят до результата: цену конструкции полезно знать раньше цифр. Главное из них в первой строке: число «в поиске Яндекса» — оценка по выборке, а не официальный счёт.
| Решение | Чем ограничивает |
|---|---|
| Счёт Яндекса идёт по выборке Вебмастера | До апдейта в выборке видны страницы, которые Яндекс ещё не взял, после апдейта они пропадают. Колонка «в поиске» поэтому может дрогнуть без всякой потери, и любое падение сверяется с лентой событий и официальным счётчиком. |
| Google: индексацию адреса запросить нельзя | Через API Google отдаёт статус страницы, но не принимает просьбу её обойти: это только кнопка в кабинете. Скрипт умеет одно — пересдать карту сайта при выкладке. |
| Bing не говорит, что в индексе, по адресам | По странице Bing отдаёт только дату последнего обхода. Число «в индексе» берётся из его общей статистики, а постранично видно лишь, открывал робот адрес или нет. |
| Суточные квоты поисковиков | Проверка адреса в Google — 2 000 в сутки по документации, у нашего сайта переобход Яндекса — 150 адресов в сутки, подача в Bing — 100. На 18 страницах запас огромный; на сайте в десятки тысяч страниц ежедневный снимок каждого адреса уже не пройдёт, и придётся снимать выборку. |
| Сайт обновляется только с ноутбука | Ноутбук выключен — сводка приходит со свежими цифрами, но панель на сайте показывает вчерашние, пока ноутбук не проснётся. |
| Токен Яндекса живёт полгода | Раз в полгода доступ к Вебмастеру и Метрике продлевается руками одной командой. Ключи Google и Bing бессрочные. |
Что получилось
За 24 дня снимков с 3 по 29 сентября 2026 в таблице 430 строк, по строке на страницу и день. Самый наглядный эпизод — две статьи, которые Яндекс 9 сентября исключил как малоценные или маловостребованные. Сводка назвала причину в тот же день. Первая вернулась в поиск 15 сентября, через три дня после того, как заголовок переписали под живые запросы из Вордстата. Вторая вернулась 24 сентября: заголовок правили ещё раз 17-го, а 22-го все пять страниц вне поиска подали на переобход. С 24 сентября в поиске Яндекса все 18 страниц карты сайта. Себестоимость — 0 ₽: интерфейсы Вебмастера, Search Console, Bing и IndexNow бесплатные. Написать такой конвейер программисту — не меньше 65 часов, расчёт ниже.
Трудоёмкость — объём кода, делённый на производительность программиста. Для проектов около тысячи строк отраслевая норма — от 2 500 до 25 000 строк на человека в год. На быстром краю 892 рабочие строки конвейера — это около 65 часов, восемь рабочих дней, а по ставке веб-разработчика 113 000 ₽ в месяц ≈48 000 ₽. Норма включает не только набор кода, но и отладку и проверку — работу, которую здесь сделали с нейросетью.
- T
- часы работы программиста; ≈65
- S
- строки кода без пустых строк, комментариев и описаний; 892
- P
- строк на человека в год — быстрый край нормы для проектов около 1 000 строк; 25 000
- 1 824 ч
- человеко-год: 12 месяцев по 152 часа
- Выборка
- 18 страниц одного сайта, 24 дня снимков с 03.09 по 29.09.2026. Пропусков три: 06.09, 11.09 и 18.09 снимок не снимался. Карта сайта менялась: 14 адресов до 09.09, 21–22 до 15.09, 18 после.
- Счёт Яндекса
- Колонка «в поиске» идёт по выборке Вебмастера и дрожит без потерь: 20–22.09 она показывала 13, а удалений не было. Поэтому потеря объявляется только по событию Яндекса, а рядом лежит его официальный счётчик.
- Причина и следствие
- Что статьи вернул именно переобход, доказать нельзя: заголовки меняли в те же дни. Известно время: 7 дней от второй правки заголовка до поиска и 2 дня от переобхода.
- Цена работы
- Производительность программистов расходится в десять раз: по той же таблице 892 строки — от 65 до 650 часов, средняя по COCOMO II около 400, базовая COCOMO 1981 года даёт 324. В статье нижний край: это оценка «не меньше», а не смета.
- Не измерено
- Сколько посетителей дал возврат страниц в поиск: показы и клики снимаются по сайту целиком, по страницам — нет.
Конвейер делает то, ради чего собран: каждое утро по каждой из 18 страниц известно, что с ней в Яндексе, Google и Bing, а если страницы нет в поиске, названа причина. Две статьи, исключённые Яндексом как малоценные, вернулись в поиск, и с 24.09.2026 в поиске Яндекса все 18 страниц карты. Google держит 16 из 18, два новых исследования ждут обхода. Bing остаётся слабым местом: по его собственной статистике в индексе 8 страниц. Себестоимость — 0 ₽, а написать такой конвейер программисту — не меньше 65 часов, ≈48 000 ₽ по ставке веб-разработчика.
Кауфман Lab — лаборатория архитектуры искусственного интеллекта. Мы проектируем процессы и методологии. Код устаревает с каждым новым поколением моделей — методология нет, поэтому в проектах разбирается именно она. Собрать систему по этой схеме сможет любая современная нейросеть.
Что пошло не так
Каждая грабля ниже есть в журнале коммитов с датой, и каждая поменяла устройство, а не одну строку. Общее у них одно: цифра в сводке выглядела правдоподобно и расходилась с тем, что было.
Ложных «выпала» на апдейтевыпала — только по событию Яндекса
Страниц вне поиска Яндексазаголовки под спрос и переобход
Что ещё можно добавить к коду
Конвейер устроен так, что новое ложится поверх снимка и сводки без переделки ядра: история по страницам уже копится, кабинеты поисковиков уже подключены. Ниже — что качественно усилит его следующим шагом, в том числе на платных сервисах, и что каждое усиление даст владельцу сайта.
Что обычно спрашивают
Ниже вопросы про саму индексацию: сколько это стоит, почему страницы выпадают и как ускорить их попадание в поиск.
Что такое ежедневная проверка индексации сайта?
Ежедневная проверка индексации сайта — это снимок, который каждое утро показывает по каждой странице, взял ли её в поиск Яндекс, Google и Bing, а если нет, то почему. Нужна владельцам сайтов, чьи заявки приходят из поиска. Кауфман Lab собрала такой снимок для 18 страниц: он называет причину исключения и подаёт изменённые страницы на переобход. Позиции по отдельным запросам он не отслеживает и тексты не правит.
Сколько стоит проверка индексации сайта?
Себестоимость — 0 ₽: интерфейсы Яндекс.Вебмастера, Google Search Console, Bing Webmaster Tools и IndexNow бесплатные, подписка на нейросеть в проекты не раскладывается. По рынку есть две цифры. Следить за индексацией руками — работа SEO-специалиста, 67 000 ₽ в месяц по вакансиям hh.ru. Написать такой конвейер программисту — не меньше 65 часов по отраслевой норме производительности, ≈48 000 ₽ по ставке веб-разработчика 113 000 ₽ в месяц.
Почему Яндекс исключает страницу как малоценную или маловостребованную?
В этом проекте причина оказалась в заголовке, а не в объёме текста: в статьях было по две-три тысячи слов. Яндекс исключил две статьи 9 сентября 2026, когда их заголовки не совпадали с тем, что люди ищут. После того как заголовки переписали под запросы из Вордстата, первая вернулась в поиск через три дня, вторая — через семь дней после второй правки.
Как ускорить индексацию новых страниц?
Сообщить поисковикам о странице сразу, а не ждать, пока робот найдёт её по карте сайта: отправить адрес по протоколу IndexNow (его принимают Яндекс и Bing), поставить страницу в очередь переобхода Яндекс.Вебмастера и пересдать карту сайта в Google Search Console. Здесь это происходит при каждой выкладке само и только для изменённых страниц. После переобхода 22.09.2026 страницы вошли в поиск Яндекса на апдейте через два дня.
Чем «в индексе» у Google отличается от «в поиске» у Яндекса?
Google по каждому адресу отдаёт один из статусов: в индексе, обнаружена и ещё не обойдена, обойдена и не взята, Google её не знает. Яндекс различает «страница в поиске» и «исключена» с причиной, а решает на апдейтах, которые идут раз в несколько дней: между ними цифры не меняются, сколько ни проверяй. Поэтому одна и та же страница может быть в индексе Google и ещё не в поиске Яндекса.
Почему число страниц в Вебмастере не совпадает с картой сайта?
Яндекс считает все адреса, которые держит в поиске, в том числе удалённые: они уходят не сразу, а на одном из следующих апдейтов. Здесь четыре удалённые страницы тегов провисели в поиске неделю и ушли 26.09.2026. Поэтому своё число стоит считать только по адресам из карты сайта, а разницу с общим счётчиком Яндекса — отдельной строкой.
Что делать, если Bing не обходит сайт?
Подать страницы напрямую через Bing Webmaster Tools: списком адресов и готовым содержимым страниц, у нашего сайта квота — 100 адресов в сутки. Так сделано здесь: 3 сентября 2026 Bing не открыл ни одной страницы, к 29 сентября его робот открывал 7 страниц из 18, а в индексе у него 8. Если за неделю обходов нет ни одного, сводка напоминает написать в поддержку Bing из кабинета.
Как проверить индексацию страницы в Google?
Инструментом «Проверка URL» в Google Search Console: он показывает, в индексе ли адрес, а если нет — обнаружен ли он, обойдён ли и почему не взят. То же отдаёт URL Inspection API, до 2 000 адресов в сутки на сайт по документации Google. Так каждое утро снимается каждая из 18 страниц этого сайта: на 29.09.2026 в индексе 16, одно исследование обнаружено и ещё не обойдено, второе Google пока не знает.
Сколько страниц в день можно отправить на переобход в Яндексе?
Столько, сколько даёт суточная квота сайта: Вебмастер показывает её в разделе переобхода и отдаёт через API. У этого сайта на 29.09.2026 — 150 адресов в сутки. По справке Яндекса поданную страницу робот обходит в течение трёх дней, но обход ещё не значит, что страница войдёт в поиск: решение принимается на апдейте. Поэтому подавать стоит изменённые страницы, а не весь сайт каждый день.
Почему страница выпала из поиска Яндекса?
Причину Вебмастер пишет в событии удаления: малоценная или маловостребованная, страница не найдена, перенаправление, не канонический адрес, ошибка ответа сервера. Сначала стоит убедиться, что страница правда выпала: счётчик по выборке дрожит, пока Яндекс не решил судьбу новой страницы. Если в истории событий удаления нет, страница в поиск ещё не входила, и это очередь, а не потеря.
- Boehm B. W. Software Engineering Economics. Prentice-Hall, 1981 — базовая модель COCOMO. archive.org · человеко-месяц 152 часа: COCOMO II Model Definition Manual, USC, 2000. pdf
- McConnell S. Code Complete, 2nd ed. Microsoft Press, 2004 — табл. 27-2, производительность по размеру проекта. codinghorror.com
- Nygard M. T. Release It! Design and Deploy Production-Ready Software. Pragmatic Bookshelf, 2007 — изоляция отказов, таймауты, fail fast.
- Shore J. Fail Fast. IEEE Software, 21(5), 21–25, 2004. doi:10.1109/MS.2004.1331296
- Helland P. Idempotence Is Not a Medical Condition. ACM Queue, 10(4), 30–46, 2012. doi:10.1145/2181796.2187821
- Tridgell A., Mackerras P. The rsync algorithm. Technical Report TR-CS-96-05, Australian National University, 1996. hdl:1885/40765
- Rubin D. B. Inference and missing data. Biometrika, 63(3), 581–592, 1976. doi:10.1093/biomet/63.3.581
- Hunt A., Thomas D. The Pragmatic Programmer. Addison-Wesley, 1999 — единый источник правды, принцип DRY.
- Popper K. Logik der Forschung. Springer, 1934 — фальсифицируемость.
- IndexNow. Documentation — протокол уведомления поисковиков, его принимают Яндекс и Bing. indexnow.org
- Яндекс. API Вебмастера: отправка на переобход и квота; справка «Малоценная или маловостребованная страница». yandex.ru/dev · yandex.ru/support
- Google, Microsoft. URL Inspection API и его лимиты; Bing Webmaster API: SubmitUrlBatch, SubmitContent. developers.google.com · limits · learn.microsoft.com