Танцы Google по-флоридски

С чего все началось

16 ноября результаты поиска в Google начали выглядеть совершенно иначе. Первоначально специалисты сочли это первым после долгого перерыва Google Dance, в ходе которого и ранее встречались самые неожиданные результаты, но потом выяснилось, что ситуация не похожа на стандартный дэнс, который обычно представлял собой процесс обновления базы и пересчета PageRank.
Что было необычно - исчезновение с привычных местов многих сайтов, занимавших лидирующие позиции долгое время, причем никаких обычных признаков бана, вроде обнуления PageRank, не было - просто конкретные страницы переставали выдаваться в числе первых по конкретным запросам.
Первые гипотезы касались в основном идеи наложения на результаты поиска некоего фильтра по оптимизированности страниц. Google, как крупнейший поисковик в мире, действительно давно нуждается в средстве противодействия усилиям оптимизаторов, которые далеко не всегда способствуют объективному ранжированию сайтов.

 

 

Кроме того, PageRank, технология, с появлением которой и связан успех Google, в ее классическом виде чрезвычайно подвержена манипулированию. Это отмечали в последнее время очень многие специалисты.
Ситуация выглядела именно как попытка определить случаи “переоптимизации” страниц и нивелировать их влияние на ранжирование результатов поиска. Наибольший эффект наблюдался на страницах, которые содержали искомую фразу во всех допустимых местах - как-то title, метатэги, тэги заголовков, alt у картинок, тексте ссылок на страницу или сайт, и даже в доменном имени - подобные сайты выглядели чересчур оптимизированными и не проходили через фильтр.
Чуть позже ситуация еще более усугубилась. Выглядело все так, как будто Google еще сильнее ужесточил условия фильтра, и по ряду запросов вместо списков коммерческих сайтов начали выдаваться информационные сайты, сайты правительственных учреждений и страницы крупных каталогов.
Это повлекло за собой выпадение из результатов поиска сайтов, которые находились там в течение нескольких лет и полностью подпадавших под действие фильтра - в самом деле, ведь ничего необычного, что ключевое слово содержится в доменном имени, названии компании и, соответственно, и ссылки на такой сайт будут ставиться с упоминанием этого слова.
Одновременно было замечено, что речь, собственно, идет не о процессе апдейта базы, а о новом алгоритме. Дело в том, что, если при запросе по привычному набору ключевых слов результаты поиска были новыми, то попытка уточнить запрос с помощью оператора исключения ( - любое слово) неизменно приводила к демонстрации старых результатов поиска.
Попробуем разобрать этот случай подробнее. Задается запрос из одного или двух слов. Затем к нему добавляется любое слово, необязательно существующее в действительности. Естественно, поскольку по умолчанию Google производит поиск с оператором AND, число страниц серьезно уменьшится или, в случае выбора несуществующего слова, будет равно нулю. Если же теперь мы попробуем применить оператор исключения с несуществующим словом - т.е. исключим из области поиска страницы, содержащие такое слово, а их нет, как мы уже убедились, - то результаты поиска, хотя, по логике, должны совпадать с первоначальными, в действительности будут очень серьезно отличаться.
Версий, так или иначе объясняющих новые результаты поиска, выдвинуто достаточно. Остановимся на двух из них.

Теория SEO-фильтра

В соответствии с ней, все происходящее есть результат применения Google различных алгоритмов, направленных на очистку результатов обычного, т.н. “алгоритмического”, поиска от воздействия манипуляционных техник, применяемых оптимизаторами.
Разумно предположить, что наиболее пострадавшими от таких приемов оптимизаторов станут наиболее интересные в коммерческом отношении слова. Этим теория объясняет явную избирательность работы фильтра, поскольку далеко не все коммерческие запросы оказались задетыми апдейтом.
Google вполне под силу определить “коммерциализованность” запросов - ведь в его распоряжении громадная их библиотека, составленная самими вебмастерами - Google AdWords. Логично предположить, что, если по определенному запросу имеется несколько объявлений, то этот запрос с высокой вероятностью является интересным с коммерческой точки зрения, а, следовательно, есть смысл более внимательно посмотреть на сайты, которые присутствуют в результатах поиска, и отфильтровать чересчур оптимизированные.
Google также может определять переоптимизированность сайтов с помощью своего тулбара. Очевидно, что, если посетители, переходя на сайт, задерживаются на нем ненадолго, то сайт не вполне отвечает их ожиданиям, следовательно, его релевантность не так высока. Напомним, что при установке тулбара Google предлагает включить расширенную функциональность плагина, которая предусматривает отсылку данных на серверы Google.
В распоряжении Google имеются также несколько вспомогательных алгоритмов, которые так или иначе могут использоваться для определения реальной “авторитетности” сайтов.
Ряд специалистов в рамках дополнений к этой теории высказывают также мнение, что одной из причин применения фильтра является желание Google принудить вебмастеров покупать платную рекламу на результатах поиска. Подобные настроения не являются новыми - достаточно вспомнить, что любое изменение в выдаче Яндекса вызывает просто шквал обвинений в попытках заставить купить контекстную рекламу со стороны вебмастеров. При этом вебмастеры редко учитывают в своих доводах тот факт, что поисковые системы как раз могут с той или иной степенью точности определить релевантность выдачи или, в более простом случае, степень удовлетворенности пользователей результатами поиска.
Впрочем, большинство специалистов сходятся на мысли, что вряд ли подобный эффект был целью специалистов Google. Результаты манипуляций оптимизаторов давно и довольно публично обсуждались и, даже если последний апдейт и привел к увеличению объемов размещения контекстной рекламы, то это скорее побочный эффект.

LocalRank, Hilltop, стемминг и другие

Вторая версия происходящего озвучена крупнейшим в мире специалистом по оптимизации - Дэнни Салливаном. Он указывает на некоторые технологии, имеющиеся в распоряжении Google, и делает вывод, что происходящее - результат их хотя бы частичного внедрения.
Для начала поясним суть этих технологий.
LocalRank - это относительно новая разработка специалистов Google, защищенная патентом и базирующаяся на идее PageRank. В упрощенном виде, LocalRank близка к идее тематического PageRank, на величину которого должна оказывать не только абсолютная авторитетность страниц, но и близость тематик этих страниц. Собственно, LocalRank базируется на подсчете цитируемости страницы не по всем страницам, известным поисковику, а лишь по тем, которые найдены по конкретному запросу. Именно так поступает Teoma, в свое время сумевшая разработать уникальный алгоритм расчета такого параметра на лету.
Подобная технология действительно обеспечивает защиту результатов поиска от манипуляций со ссылками - в частности, от расстановки ссылок на любых ресурсах, безотносительно к их тематике. На первый план при ней выйдут ссылки с тематических сайтов. Однако ресурсоемкость такой технологии трудно переоценить. Речь идет о расчете локального для данного запроса параметра - отсюда название LocalRank - на лету при ранжировании сайтов.
Hilltop - это название другого алгоритма расчета ссылочного цитирования, который базируется на определении группы экспертных сайтов и учета ссылок с них с большим весом. В классическом виде этот алгоритм не предусматривает учета каких-либо других ссылок вообще - он просто не отдает никаких результатов при узких запросах, неохваченных экспертными наборами сайтов. Это также позволяет вывести из рассмотрения многочисленные мусорные ссылки и сети сайтов, перелинкованных между собой.
Стемминг, или говоря иначе, учет при поиске различных форм одного слова и производные от него слова, запущен Google в ноябре месяце и тоже вполне может оказывать влияние на результаты поиска.
Дэнни Салливан на этой неделе высказал предположение, что все эти алгоритмы уже запущены Google и работают, хотя, возможно, и в ограниченном либо упрощенном виде. При этом именно LocalRank ответственен за большую часть изменений - поскольку вряд ли кто сможет заявить, что результаты стали резко нерелевантными, хотя из результатов поиска и пропали сайты, набравшие PageRank за счет ссылок с самых различных ресурсов. Ограниченность же изменений вызвана именно ресурсоемкостью алгоритма - Google просто не может себе позволить применить его на более широком поле запросов. Этим же вызван феномен с минусованием слов - поскольку фактически любой расширенный запрос означает многократный поиск, применение расширенного запроса выключает наложение LocalRank.
Тот факт, что зачатки Hilltop давно используются Google, сомнению не подвергается - давно известно, что ссылки с DMOZ и Yahoo пользуются особым вниманием Google.
Стемминг же может повлиять на результаты поиска совершенно иначе - он просто расширяет запрос, фактически включая в него слова в различных формах, и, по-видимому, точность словоформы необязательно имеет предпочтение перед другими факторами релевантности.
При этом Салливан не исключает, что Google может также использовать те дополнительные факторы ранжирования, о которых мы говорили в предыдущем разделе. Тем более, отмечает он, что представители Google, ранее отрицавшие использование данных тулбара в ранжировании, теперь просто отказываются от комментариев на эту тему.

Что дальше?

Я склонен более доверять версии Салливана. Прежде всего потому, что теория с фильтром на действия оптимизаторов страдает одним - непродуманностью подхода и искусственностью мер. Кроме того, в рамках этой теории сложно объяснить, почему столь ограничена область применения фильтра - ведь, наладив работу фильтра на 500 запросах, его с легкостью можно наложить на всю массу запросов.
Салливан цитирует слова одного из разработчиков Google, который вскользь подтверждает применение новых алгоритмов и добавляет, что в течение ближайших двух месяцев будут введены еще несколько алгоритмов, которые позволят победить влияние поискового спама на результаты поиска.
Ряд специалистов высказывают предположение, что Google использует методику фильтра Байеса, который уже широко применяется в борьбе с почтовым спамом.
Вкратце рекомендации специалистов в сложившей ситуации можно свести к банальному предложению делать сайты для людей, а не для поисковиков. Более детальные рекомендации еще предстоит выработать, хотя уже сейчас ясно, что обмен ссылками с сайтами, близкими по тематике и обладающими ненулевой авторитетностью, в большинстве случаев предпочтительнее клубов обмена ссылками.