Зміст:
Дана стаття присвячена розумію того, як пошукові системи видає результат користувачеві, виходячи з його запиту.
Як пошукова система збирає дані?
Для пошукової системи всю необхідну інформацію збирає спеціальна програма під назвою краулер (пошуковий робот). У кожного пошукача вона працює за власними алгоритмами і скриптів. Цей пошуковий бот працює в 2 етапи. Перший етап: пошуковий бот займається скануванням самого контенту. Другий: в зміст контенту шукає посилання, і переходить по ним далі на наступну сторінку і так далі. Це можуть бути як внутрішні (по даним сайту, найчастіше пункти меню), так і зовнішні посилання (на інші сайти). Таким чином пересуваючись по мережі бот формує якийсь звіт про виконану роботу. В якому зібрана інформація про контент, посиланнях в ньому, і зв’язками між ними.
Оскільки це робот, він не особливо розуміє людиноподібні тексти, і йому не зовсім зручно з ними працювати. Тому він структурує її в певний набір міток. Їх можна представити у вигляді таблички. Куди внесені слова які були просканувати на сторінці, частота повторень цих слів, і щільність – наскільки часто вони зустрічаються щодо загальної кількості. Ми бачимо що чим більше повторень, тим вище це слово. Приблизно таким чином звіти і формуються, після чого зберігаються в базі даних.
Як пошукові системи підбирають сторінки?
Все вище перераховане дозволяє значно прискорити пошук, того запиту що ввів користувач. Наприклад людини цікавить покупка смартфона, він заходить в Гугл і вводить запит. Пошуковику вже не потрібно перевіряти всю сторінку на збіг цих слів, вона просто переглядає частотну таблицю цих сторінок. Дивиться, “Ага, тут зустрічалися слова КУПИТИ і СМАРТФОН”, і зустрічалися досить часто. Значить це та сторінка яку шукає користувач. Якщо ці слова зустрічалися рідко, або їх не було зовсім, значить на цій сторінці цікавить користувача інформації немає. Таким чином Гуглу, Яндексу і іншим ПС не потрібно заново перевіряти вміст сторінки. Вже на підставі своїх баз даних ПС може швидко підібрати потенційно придатні сторінки для користувача який шукає їх. Після всієї цієї обробки в саму БД зберігаються дані про первинному скануванні, посиланнях і наборі міток. За якими можна буде швидко знайти чи відповідає ця сторінка запитом.
Сам процес сканування і попадання в БД можна назвати індексацією. Всю цю обробку виконують програми самих пошукових систем, а база даних в якій зберігаються результати називається пошуковий індекс. Найважливіше що, ми повинні розуміти, що пошукова система, підбирає сторінку саме з пошукового індексу, а не шурхотом весь інтернет заново. І природно, що якщо Вашого сайту в пошуковому індексі немає, то його і не буде в результатах пошуку. В цьому і полягає головна наша задача, змусити проіндексувати всі необхідні сторінки сайту.
Як же проіндексувати свій сайт?
Саме базове що можна зробити, це додасть свій сайт в google search console та yandex webmaster (якщо Ви з Росії). Додаємо в панель карту сайту і чекаємо. Так само важливо щоб на вашому сайті був файл robots.txt в якому зазначено які сторінки і інші дані бот може індексувати, а які не потрібно. Більш детально як це зробити читайте в іншій статті.
Так само, як ми вже знаємо, пошуковий робот пересувається в мережі по посиланнях. Тобто, якщо у нас є з’явилася сторінка про яку пошукову систему ще не знає, ми логічно можемо припустити, що посилання на неї потрібно додати на сторінку яка вже є в пошуковому індексі. Час від часу пошукова система перевіряє ще раз всі сторінки, які зберігаються у неї в базі. В середньому на це йде 7 днів, великі сайти може сканувати раз в кілька хвилин, маленькі або маловідомі раз на місяць.
Отже перевіряючи сторінку на яку ми додали посилання на наш сайт, вона зайде і на нього. Зрозуміло ми припускаємо, що наш сайт оптимізований, і на головній сторінці знаходяться внутрішні посилання (пункти меню) на інші сторінки нашого створеного сайту. У такому випадку вона просканує все сторінки, посилання на які знайде. Це не означає що Ваш сайт відразу ж з’явиться в індексі, або тим більше у видачі. Присутність в індексі не означає що Ваш, новий сайт відразу зможе конкурувати і бути на перший позиціях.
Як перевірити чи є мій сайт в Гугл?
Щоб перевірити просканований сайт або ще немає, достатньо однієї команди “site:”. Ми просто переходимо в гугл і вводимо її і наш домен, без пробілів. У рядку пишемо site: sitestore.com.ua, де після двокрапки прописуємо свій домен, відобразиться вся інформація. Щоб перевірити конкретну сторінку вставляємо посилання на неї site: https: //sitestore.com.ua/sites/
У результатах пошуку, можна побачити, скільки сторінок, картинок (так, зображення теж скануються) та інших даних зберігається в індексі.
Біля адреси сторінки, можна побачити маленький трикутник, при натисканні на який ми можемо переглянути збережену копію яка зберігається в БД, і дату коли останній раз її відвідував бот. Це іноді буває корисно, щоб подивитися чи відвідував її бот після внесених змін.
Якщо Ви ще не маєте в індексі, то щоб потрапити туди, як говорилося вище можна залишити посилання свій сайт, на інших більш серйозних ресурсах. Для цього підійдуть і соц. мережі, віртуальні дошки оголошень, каталоги і так далі. Чим більше посилань з ресурсів які вже відомі пошуковій системі, і чим більше вони, тим краще. При цьому ми припускаємо що сайт не закрите від індексації, правильно оптимізований і з “радістю прийме” пошукового бота. В google search console, так само можна запитати індексацію окремої сторінки.
Важливо правильно залишати посилання на сторонніх сайтах. Як зрозуміти що посилання працює? Дуже просто, при кліці на неї Вас перенаправляє на інший сайт. Деякі соціальні мережі (в меншій мірі), сайти і ресурси, не дають можливості залишати такі посилання, і вони виглядають просто як звичайний текст, так що звертайте на це увагу. На деяких таких сайтах, посилання можна залишити тільки за певну плату. Це теж важливий етап роботи і називається він нарощуванням посилальної маси, але цим не варто забивати голову. Дане дії потрібно, тільки в умовах жорсткої конкуренції. Найчастіше у користувачів проблеми на етапах які вони самі можуть усунути, або думають що усунули, а за фактом банальна неуважність, або незнання, що виправдано, людина не може знати все. Тому якщо будуть питання або потрібен невеликий рада, пишіть нам і заходите на профілі в соціальних мережах, відповімо абсолютно безкоштовно – ТИСНИ.
