Содержание:
Данная статья посвящена понимаю тому, как поисковые системы выдает результат пользователю, исходя из его запроса.
Как поисковая система собирает данные?
Для поисковой системы всю необходимую информацию собирает специальная программа под названием краулер (поисковый робот). У каждого поисковика она работает по собственным алгоритмам и скриптам. Этот поисковый бот работает в 2 этапа. Первый этап: поисковый бот занимается сканированием самого контента. Второй: в содержание контента ищет ссылки, и переходит по ним дальше на следующую страницу и так далее. Это могут быть как внутренние (по данному сайту, чаще всего пункты меню), так и внешние ссылки (на другие сайты). Таким образом передвигаясь по сети бот формирует некий отчет о проделанной работе. В котором собрана информация о контенте, ссылках в нём, и связями между ними.
Поскольку это робот, он не особо понимает человекоподобные тексты, и ему не совсем удобно с ними работать. Поэтому он структурирует её в определенный набор меток. Их можно представить в виде таблички. Куда внесены слова которые были просканированы на странице, частота повторений этих слов, и плотность — насколько часто они встречаются относительно общего количества. Мы видим что чем больше повторений, тем выше это слово. Приблизительно таким образом отчеты и формируются, после чего хранятся в базе данных.
Как поисковые системы подбирают страницы?
Всё выше перечисленное позволяет значительно ускорить поиск , того запроса что ввел пользователь. Например человека интересует покупка смартфона, он заходит в ГУГЛ и вводит запрос. Поисковику уже не нужно проверять всю страницу на совпадение этих слов, она просто просматривает частотную таблицу этих страниц. Смотрит, «Ага, здесь встречались слова КУПИТЬ и СМАРТФОН», и встречались достаточно часто. Значит это та страница которую ищет пользователь. Если эти слова встречались редко, или их не было вовсе, значит на этой странице интересующей пользователя информации нет. Таким образом Гуглу, Яндексу и другим ПС не нужно заново проверять содержание страницы. Уже на основании своих баз данных ПС может быстро подобрать потенциально подходящие страницы для пользователя который ищет их. После всей этой обработки в саму БД сохраняются данные о первичном сканировании, ссылках и наборе меток. По которым можно будет быстро найти соответствует ли данная страница запросу.
Сам процес сканирования и попадания в БД можно назвать индексацией. Всю эту обработку выполняют программы самих поисковых систем, а база данных в которой хранятся результаты называется поисковый индекс. Самое важное что, мы должны понимать, что поисковая система, подбирает страницу именно из поискового индекса, а не шурша весь интернет заново. И естественно, что если Вашего сайта в Поисковом индексе нет, то его и не будет в результатах поиска. В этом и состоит главная наша задача, заставить проиндексировать все необходимые старицы сайта.
Как же проиндексировать свой сайт?
Самое базовое что можно сделать, это добавит свой сайт в google search console и yandex webmaster (если Вы из России). Добавляем в панель карту сайта и ждем. Так же важно чтобы на вашем сайте был файл robots.txt в котором указано какие страницы и другие данные бот может индексировать, а какие не нужно. Более детально как это сделать читайте в другой статье.
Так же, как мы уже знаем, поисковый робот передвигается в сети по ссылкам. То есть, если у нас есть появилась страница о которой поисковик еще не знает, мы логически можем предположить, что ссылку на нее нужно добавить на страницу которая уже есть в поисковом индексе. Время от времени поисковая система перепроверяет все страницы, которые хранятся у нее в базе. В среднем на это уходит 7 дней, большие сайты может сканировать раз в несколько минут, маленькие или малоизвестные раз в месяц.
Следовательно перепроверяя страницу на которую мы добавили ссылку на наш сайт, она зайдет и на него. Разумеется мы предполагаем, что наш сайт оптимизирован, и на главной странице находятся внутренние ссылки (пункты меню) на другие страницы нашего созданного сайта. В таком случае она просканирует всё страницы, ссылки на которые найдет. Это не значит что Ваш сайт сразу же появится в индексе, или тем более в выдаче. Присутствие в индексе не значит что Ваш, новый сайт сразу сможет конкурировать и быть на первый позициях.
Как проверить есть ли мой сайт в Гугл?
Чтобы проверить просканирован сайт или еще нет, достаточно одной команды «site:». Мы просто переходим в гугл и вводим ее и наш домен, без пробелов. В строке пишем site:sitestore.com.ua, где после двоеточия прописываем свой домен, отобразится вся информация. Чтобы проверить конкретную страницу вставляем ссылку на нее site:https://sitestore.com.ua/sites/
В результатах поиска, можно увидеть, сколько страниц, картинок (да, изображения тоже сканируются) и других данных хранится в индексе.
Возле адреса страницы, можно увидеть маленький треугольник, при нажатии на который мы можем просмотреть сохраненную копию которая хранится в БД, и дату когда последний раз ее посещал бот. Это иногда бывает полезно, чтобы посмотреть посещал ли ее бот после внесенных изменений.
Если Вас еще нет в индексе, то чтобы попасть туда, как говорилось выше можно оставить ссылку свой сайт, на других более серьёзных ресурсах. Для этого подойдут и соц. сети, виртуальные доски объявлений, каталоги и так далее. Чем больше ссылок с ресурсов которые уже известны поисковой системе, и чем крупнее они, тем лучше. При всем этом мы предполагаем что сайт не закрыт от индексации, правильно оптимизирован и с «радостью примет» поискового бота. В google search console, так же можно запросить индексацию отдельной страницы.
Важно правильно оставлять ссылки на сторонних сайтах. Как понять что ссылка работает? Очень просто, при клике на нее Вас перенаправляет на другой сайт. Некоторые социальные сети (в меньшей степени), сайты и ресурсы, не дают возможности оставлять такие ссылки, и они выглядят просто как обычный текст, так что обращайте на это внимание. На некоторых таких сайтах, ссылку можно оставить только за определенную плату. Это тоже важный этап работы и называется он наращиванием ссылочной массы, но этим не стоит забивать голову. Данное действия нужно, только в условиях жесткой конкуренции. Зачастую у пользователей проблемы на этапах которые они сами могут устранить, или думают что устранили, а по факту банальная невнимательность, или незнание, что оправдано, человек не может знать всё. Поэтому если будут вопросы или нужен небольшой совет, пишите нам и заходите на профили в социальных сетях, ответим абсолютно бесплатно — КЛИКАЙ.
