Издание представило результаты собственного исследования того, как Google использует динамическое тестирование для поиска новых способов ответа на запросы пользователей.

Обозреватель издания Эрик Эндж (Eric Enge) исследовал 250 поисковых запросов, чтобы посмотреть, как будут меняться результаты, возвращаемые Google.

Методология

В рамках этого исследования, Эрик Эндж взял 250 запросов, которые ранее использовались в других тестах Search Engine Land. 125 из них не возвращали окно ответа Сети знаний, 125 – возвращали. Кроме того, из 125 запросов первой группы, журналист выбрал только те, которые возвращали результаты в виде пошаговых инструкций.

Все запросы были протестированы повторно. При этом проверялись следующие моменты:

Возвращает ли запрос пошаговые инструкции?
Возвращает ли он окно Сети знаний помимо пошаговой инструкции?
Если да, возвращает ли он один и тот же интернет-ресурс в качестве источника, как и во время проведения первого тестирования?

Для тех вариантов запросов, которые в первом тестировании возвращали окно Сети знаний, если та же ситуация наблюдалась во время повторного тестирования, Эндж отмечал, был ли новый результат представлен в виде пошаговых инструкций или другого вида окна Сети знаний.

Все поиски были произведены с использованием голосовых запросов на смартфоне. С этой целью Эрик Эндж использовал приложение Google на iPhone 4.

Эрик Эндж выявил, что 75% тестируемых запросов всё ещё показывали результаты в виде пошаговых инструкций (step by step results). Остальные изменились. Кроме того, сайты, которые раньше отвечали на запросы, также изменились:

Из 94 запросов, которые всё ещё возвращали пошаговые инструкции в результатах поиска, 15 (16%) теперь показывали результаты из других интернет-ресурсов.
Из 16 запросов, которые в повторном тестировании возвращали панель Сети знаний, 10 (62,5%) показывали результаты другого сайта.

По всем 250 протестированным запросам были выявлены следующие изменения:

Количество запросов, которые возвращали пошаговые инструкции в результатах, уменьшилось на 20 единиц.
Количество запросов, которые возвращали окна Сети знаний в результатах, увеличилось на 3 единицы (23 новых окна без пошаговых инструкций).

В рамках этого исследования, изображения были учтены как результаты без окна Сети знаний.

Итоги

На основании полученных данных, Эрик Эндж предположил, что Google в динамическом режиме тестирует разные источники и конкретные способы ответа на вопросы пользователей и смотрит, как они работают, опираясь на статистику пользовательских данных.

Если ему нравятся результаты, он их закрепляет; если не нравятся – пробует новый возможный ответ. Когда у него нет удовлетворительного ответа, он возвращается к поисковым результатам.

Алгоритмы Google не могут определить идеальный ответ, поэтому он подсчитывает, что является наиболее подходящим из возможных ответов. Затем он тестирует его в поиске.

Если наиболее подходящий из возможных вариантов не работает, Google может попробовать следующий наиболее подходящий возможный вариант, и так далее. Он также может проводить параллельное тестирование, показывая разные ответы из разных источников данных, чтобы ускорить этот процесс.

По мнению Эрика Энджа, Google верит в концепцию окон Сети знаний всех видов, и делает всё, чтобы предоставить пользователям хорошие ответы на их вопросы.