Ты помнишь, как всё начиналось? Откуда взялась и куда пропала релевантность.
На своей заре поисковые системы были прямолинейными и наивными – ведь всё эволюционирует со временем. Суть работы заключалась в следующем – просканировать все страницы в интернете, разбить на слова и составить базу.
После того, как пользователь забивал в строку поиска слово или несколько слов, система находила в базе страницы, в которых встречались эти слова, и возвращала список этих страниц и их адресов. Страниц в Интернете было мало, так что всё более-менее как-то работало – не требовались сервера и дата-центры, что бы всё хранить и обрабатывать.
Кстати, для кого-то это может оказаться сюрпризом, но первым в этой области начал работать Яндекс – можете проверить в Википедии. Google появился немного позже. Поначалу сканировались не только страницы в интернете, но и документы на компьютерах пользователя и в общих папках локальной сети – т.е. каждый мог поставить себе свой Яндекс и найти нужные документы, независимо от их местоположения.
Но, конечно, любая система должна развиваться, что бы удовлетворять потребности пользователя и превосходить конкурентов. Поначалу поисковые системы двигались в сторону семантики языка – поначалу они учились находить указанные слова в различных падежах и склонениях, формах и временах. Потом находить страницы, в которых искомые слова находятся в рамках одного предложения, в указанном порядке следования. Потом – находить те же самые слова, набранные в неправильной раскладке, в транскрипции. Потом – набранные на другом языке.
Число статей в сети увеличивалось с каждым днем, и перед поисковыми системами встал вопрос – какая страница «достойнее» другой – иными словами, как определить, какую из нескольких страниц с похожим содержанием показывать первой, какую второй, и так далее. Этот процесс – внутренняя сортировка страниц и их позиция в поиске называется ранжированием. Чем выше ранжируется страница, тем выше её позиции в поиске.
Первая реализация алгоритма ранжирования была проста – и в массы пошел термин релевантность. Этот термин обозначает, насколько текст страницы в базе совпадает с искомым запросам. Чем выше этот показатель, тем выше страница находится в поиске.
Разумеется, тут же появились желающие занять первые места, а то и забить страницу выдачи целиком – и эти первые энтузиасты ринулись писать тексты, как можно более подходящие под потенциальные запросы. И внезапно число страниц в интернете многократно увеличилось. В каждой нише начали массово появляться страницы с почти одинаковым текстом – например, по запросу «машина купить» вы могли найти десятки тысяч статей, где это словосочетание встречалось в заголовке, в тексте каждого абзаца, в каждом предложении, в каждой ссылке и так далее.
Стало очевидным, что ранжирование по релевантности себя не оправдывает, и лучшие умы начали думать над новыми алгоритмами.
Скажи мне, кто твой друг, и я скажу, кто ты. ТИЦ, PR, TrustRank и немного о доверии.
Создатели поисковых систем люди умные и образованные, и, более того, они начинали свою деятельность тогда, когда поисковых систем еще не было – именно их им предстояло создать. Так что эти люди черпали свои знания из книг и из общения друг с другом – и именно эту модель они решили перенести в свои алгоритмы.
Как определить, насколько авторитетна научная работа? Надо узнать, сколько ученых к ней апеллируют при своих расчетах. Например, три закона Ньютона – это авторитетная научная работа. Когда кто-либо рассчитывает движение, инерцию и т.п., ему не надо доказывать, что его формулы правильные – это уже доказал Ньютон, и мировое сообщество ученых с этим согласно. Научная работа студента Арсения намного менее авторитетна – об этой работе знает только Арсений, его научный руководитель и краем уха что-то слышали друзья. Да и сам Арсений не использует свои расчеты в своей работе, он хочет всего лишь получить зачёт и забыть всё, как страшный сон. Но, если на работу Арсения обратит внимание Ньютон и отметит его работу как выдающуюся, эта работа сразу получит дополнительный вес и пристальное внимание ученых мира.
Та же самая модель работает с книгами – чем больше других авторов ссылаются на книгу, указывают её источником, чем больше друзей советуют вам прочитать эту книгу, тем эта книга, очевидно, круче. Так почему бы не перенести эту модель авторитетности на страницы в Интернете?
На тот момент дороги поисковых систем разошлись совершенно в разные стороны, и сложно сказать, кто именно придумал и первым внедрил такую модель ранжирования, но появилась она у всех. Хотя каждый реализовал её по своему.
Яндекс, например, внес показатель ТИЦ – «текущий уровень цитирования». Грубо говоря, чем больше ссылок ссылается на сайт (да, ТИЦ рассчитывается для всего сайта), и чем более эти ссылки качественнее, тем этот сайт авторитетен. ТИЦ считается не линейно, а выдается в соответствии с алгоритмом – у вас может быть 500 000 входящих ссылок, а ТИЦ будет 0, или может быть 1000 ссылок и ТИЦ 50. Это зависит от качества ссылок, но об этом поговорим чуть ниже.
Примерно так же работает Page Rank от Google – только он замеряет авторитетность не всего сайта, а каждой отдельно взятой страницы, на основе упоминания страницы в сети. Page Rank ставится по 10 бальной шкале, чем выше значение – тем авторитетнее страница.
Поисковик Yahoo (тогда он был крут, был чуть ли не самым популярным в мире), дополнил всё это еще и просмотром эксперта – алгоритм брал образцы страниц, а эксперт решал, стоит ли доверять таким источникам или нет. На основе этих решений выставлялся TrustRank – чем он выше, тем авторитетнее страница соответственно.
Разумеется, как только люди поняли, что для выхода в топ нужно много ссылок с других сайтов, стали появляться тысячи, если не миллионы, сайтов, чья миссия была простой – поставить ссылку на продвигаемую страницу. Стали появляться «каталоги сайтов», «рейтинги сайтов», «сборище полезных ссылок» и так далее – проще говоря, линкопомойки. Причем в ход шло всё – например, создавалась сотня сайтов, каждый из которых ссылался на другие 99, и в итоге все 100 выходили на первые страницы.
Или, например, при создании сайта создавались десятки т.н. «сателлит»- спутников сайта. Основной сайт хорошо выглядел, содержал полезную информацию, а сотня сателлит тупо на него ссылались, и даже текст на их страницах был сгенерирован автоматически. Они были бесполезны для пользователя, но зато поднимали вес сайта в поисковой системе.
Поисковые системы приняли вызов, и стали учиться оценивать качество входящих ссылок. Изначально они учились определять и банить «карусели» - сети сайтов, ссылающихся друг на друга, схемы сателлитов и так далее – сайт, а то и вся сеть, уличенные в способах накрутки выпадали из поиска, в некоторых случаях сайты пессемизировались – понижались в результатах поисковой выдачи вплоть до самого последнего места и так далее.
Конечно, и веб-мастера не дремали, создавали всё более хитрые системы взаимоссылающихся сайтов, участвовали в обмене ссылками и баннерами, создавались специальные сообщества по обмену или накрутке, появлялись платформы по платному размещению. Например, один веб-мастер мог создать 100 сайтов и разместить на них специальный код, а другой мог через специальный сервис указать, на какие сайты на каких страницах должны ссылаться эти сайты. Второй вебмастер при этом платил первому, а процент уходил сервису.
Поисковые системы, конечно, противились таким попыткам манипуляции поисковой выдачи, но выявлять их становилось всё сложнее, поэтому вводились всё новые и новые критерии «качества» ссылок на сайт. Например, ссылка на совершенно новом сайте приносит 0 условных единиц полезности. Ссылка на ресурсе, которому 10 лет, приносит 100 единиц полезности. Но, если на этом старом сайте много исходящих ссылок на всякие бесполезные ресурсы, то за каждую такую ссылку -1 единица полезности, и так далее.
В общем, что бы ссылка была качественной, она должна быть расположена на старом, авторитетном сайте. Этот авторитетный сайт должен хорошо модерировать свой контент и ссылками не разбрасываться. Ссылка должна быть упомянута к месту, в нужном месте статьи, в нужном абзаце, и в нужном смысловом контексте.
Еще важно качество самой страницы на вашем сайте, на которую ссылаются – если на этой странице нет ничего полезного для пользователя, отвратительный дизайн, ссылки на нечто противное и так далее, то и сама эта страница не будет продвигаться как следует, и тот, кто на неё ссылается, получит негативное очко полезности – ибо нельзя делать интернет хуже, чем даже он сейчас есть.
В общем, все эти показатели ТИЦ, PR, TrustRank и прочее были разработаны и использованы для улучшенного ранжирования результатов поиска, но, по факту, все они оказались уязвимыми для манипулирования, и постепенно и Google и Яндекс объявили, что уходят от практики учета внешних ссылок, и не будут использовать накопленную информацию. Я очень надеюсь что это так, но в кругах мастеров периодически встречаются примеры того, что в той или иной степени эти ссылки учитываются.
Тем не менее, рано или поздно от этого все равно откажутся, ибо наступает новая эра ранжирования – поведенческий фактор.
Раз уж алгоритмы не справляются с ранжированием, давай спросим у людей?
Думаю, эта идея витала в воздуха с самого начала развития алгоритмов ранжирования, но использовать её не позволяли технологии. Раз уж роботы не в состоянии оценить качество сайта для человека, то уж человек то оценит?
И поисковики начали собирать расширенную статистику посещения сайтов и страниц. Все факторы интересны, все полезны, собираем всё. Например – что за человек пришел на сайт, откуда пришел, сколько страниц просмотрел, сколько времени провел на сайте, узнал ли он чего хотел, куда двинулся дальше, и так далее.
Звучит логично – если человек пришел из поиска, увидел сайт, через пару секунд его закрыл и пошел на другой сайт из того же поиска – значит сайт ему не подошел. Если из 30 человек все 30 поступили так же – значит, этот сайт не стоит показывать по этому запросу – он бесполезен для человека. Если же человек перешел на сайт, внимательно прочитал страницу другую, что-то выделил в тексте, что-то скопировал, где-то написал комментарий, чем-то поделился в соцсетях, и перестал искать то, что искал – значит, сайт хороший, продолжаем показывать. Все действия пользователя на страницах вашего сайта формируют поведенческий фактор, и чем больше ваш сайт заинтересовал посетителя, тем выше этот фактор, и тем лучше позиции вашего сайта в выдаче.
Как они собирают эту информацию? По разному, всеми возможными путями. Например, Google может получать действия пользователей, которые пользуются браузером Chrome. Если вы заходите на страницу, где установлена Google ReCaptcha, информация уходит в Google. Если на странице реализован Google поиск, информация уходит и так далее. Аналогично Яндекс может собирать информацию через Яндекс.Браузер, Яндекс.Бар и так далее. Если у вас смартфон на платформе Android – значит, информация есть в Google и так далее.
Но самый, наверное, главный источник – как мне представляется – это счетчики Яндекс.Метрики и Google Analytics. Этот код вы добавляете на каждую страницу сайта, и по каждой странице эти поисковые системы получают подробную информацию о поведенческом факторе, могут её анализировать и использовать в дальнейшем при ранжировании. Поэтому я сам ставлю и вам рекомендую ставить эти счетчики, даже если вы не пользуетесь ими. О выборе и установке счетчиков вы можете прочитать в этой статье.
Тут напрашивается вопрос – как же Яндекс посчитает поведенческий фактор, если вы только что сделали сайт и у вас пока нет посетителей? Тут всё просто, но надо понять, что понятия ТОП уже, в общем-то, не существует.
Куда в итоге делся ТОП поисковой выдачи?
Сейчас поисковые системы подстраиваются под пользователя – и ставят над ним эксперименты. За долгие годы они научились формировать портрет каждого посетителя – и прогнозировать его интересы и потребности. Примитивный пример – если вы вчера искали в Google «корм для собак», а сегодня ищете «ошейники», то вы, скорее всего, недавно обзавелись собакой. Значит, в результатах поисковой выдачи будет использоваться этот ваш интерес, и когда вы будете искать «где» вам всплывет подсказка «выгулять собаку».
Точно так же на основе сформированного портрета формируется выдача страниц – в идеале, вам покажут сайты из вашего города, на вашем языке, оформленные таким образом, как вы любите читать. И среди них будет один-два сайта новичка, которые пока никому не показывали. Если вы кликните на такой сайт, где-то подставится галочка – заголовок хороший, цепляющий. Если перейдете и внимательно вам все прочитаете – у этого сайта повысится поведенческий фактор. Если перейдете и закроете сразу же – значит, вам не понравилось, и так далее.
Иными словами, поисковые системы подмешивают новые сайты в выдачу, и формируют ТОП страниц на основе интересов пользователя, его сетевого портрета, географического расположения и так далее. А пользователь помогает оценивать сайты, сам не ведая того. Конечно, такое подмешивание идет не каждый раз, и под разные поисковые запросы могут показываться как страницы вашего сайта, так и чьего-то чужого, но тем не менее такой алгоритм помогает поисковым системам планомерно обновлять выдачу, не теряя авторитетности в глазах пользователя, а новым страницам появляться в поиске и формировать статистику о себе в дата-центрах поисковых систем.
О стратегии продвижения в современных реалиях можно писать еще очень и очень много, но статья и так вышла объемная, пора с ней заканчивать. Задавайте вопросы в комментариях, мы к этой теме еще вернемся.
Желаю вам успешного продвижения вашего сайта!
