Сайт открывается в браузере, но его нет в Google — распространённая ситуация после запуска, переноса домена или изменения технологии сайта. Проверять её нужно не одним запросом site:, а по нескольким признакам. Оператор поиска помогает быстро посмотреть примеры страниц, но не является точным счётчиком индекса и не объясняет причину отсутствия конкретного URL.

Сначала выясните: страница неизвестна, исключена или просто не ранжируется

Подключите Google Search Console и используйте проверку URL для конкретной страницы. Инструмент показывает, известен ли адрес Google, допускается ли индексирование, какой канонический URL определён и есть ли проблемы с получением страницы. Если URL уже находится в индексе, но не появляется по нужному запросу, это вопрос релевантности и конкуренции, а не технической индексации.

Проверьте отдельно главную, одну страницу услуги и одну статью. Одинаковая проблема на всех URL часто указывает на общую настройку. Если не индексируется только одна статья, ищите причину в её содержании, ссылках и каноникализации.

Пять технических причин отсутствия в Google

1. Запрет на индексирование

Проверьте метатег <meta name="robots" content="noindex"> и HTTP-заголовок X-Robots-Tag. Они могут остаться после разработки или тестового окружения. Важно: если robots.txt запрещает роботу обход страницы, Google может не увидеть находящийся на ней noindex. Для удаления из индекса и управления обходом нужны разные действия.

2. Неправильный robots.txt

Откройте /robots.txt и убедитесь, что нужные разделы не закрыты правилом Disallow. Не копируйте чужой файл без проверки: правило, безопасное для одного сайта, может скрыть каталог или блог другого. Robots.txt регулирует обход, но сам по себе не является надёжным способом запретить появление URL в результатах поиска.

3. Ошибочный canonical

На странице может стоять rel="canonical" со ссылкой на главную, старый домен или другую статью. В таком случае Google может выбрать другой адрес для индексации. Canonical — сигнал, а не абсолютная команда: проверьте, какую каноническую страницу Google выбрал фактически.

4. Неверный ответ сервера и цепочки редиректов

Проверьте HTTP-статус и конечный адрес. Страница, которая периодически возвращает 500, уходит в бесконечные переадресации или требует авторизации, затрудняет обход. После переезда со старого домена настройте прямые постоянные редиректы на соответствующие новые URL, а не отправляйте все адреса на главную.

5. Основной текст появляется только после выполнения JavaScript

Google умеет обрабатывать JavaScript, но это не повод отдавать пустую HTML-оболочку. Если API долго отвечает, блокируется или требует действий пользователя, робот может не получить основной текст. Проверьте отрисованный HTML в инструментах Search Console и по возможности используйте серверный рендеринг либо статическую генерацию для важных страниц.

Почему технически исправная страница всё равно не попадает в индекс

Google не обязан индексировать каждый доступный URL. Особенно часто проблемы возникают у страниц с минимальным самостоятельным содержанием, автоматическими вариациями одного текста, дублями и адресами, на которые почти нет внутренних ссылок. Страница услуги должна объяснять конкретное предложение, а статья — отвечать на вопрос глубже, чем соседние материалы сайта.

Сравните два материала: «Как ускорить сайт» из трёх общих абзацев и подробный разбор конкретных проблем с изображениями, скриптами, измерениями и примерами. Второй не получает гарантии индексации, но даёт пользователю самостоятельную ценность. Не пытайтесь решать проблему массовым выпуском ещё более коротких страниц.

План диагностики после переноса или запуска

  1. Выберите несколько важных URL и проверьте их в Search Console.
  2. Сравните индексируемый и фактический адрес, статусы, canonical и разрешения для роботов.
  3. Проверьте, присутствует ли содержательный текст в HTML и отрисованной версии.
  4. Добавьте корректную XML-карту и внутренние ссылки с доступных страниц.
  5. Исправьте выявленные ошибки и запросите повторную проверку важных URL.

Не отправляйте один и тот же адрес на переобход каждый день. Запрос не гарантирует индексирование и не заменяет исправления причин исключения. Если в отчёте указано, что страница обнаружена, но пока не проиндексирована, наблюдайте за динамикой и проверяйте качество внутренних ссылок и содержимого.

Как не перепутать индексацию с видимостью

После появления URL в индексе изучайте отчёт об эффективности: показы, клики, запросы и страницы. Если статья находится в Google, но не получает показов по нужной теме, пересмотрите поисковое намерение и полноту ответа. Если показы есть, а кликов нет, оцените заголовок и сниппет в контексте выдачи. Если клики есть, но пользователь сразу уходит, проблема может быть в самой странице.

Отсутствие сайта в Google — не единый диагноз. Последовательная проверка доступности, каноникализации, содержимого и отчётов поиска обычно даёт гораздо больше, чем случайные изменения метатегов или покупка ссылок.