Как работает поисковая система

1Ответ начинается до вопроса

Два слова в строке поиска — и перед нами список страниц. Кажется, будто программа только что пробежала весь интернет и выбрала нужное. Но основная работа началась задолго до того, как мы сформулировали вопрос.

Поиск похож на библиотеку с заранее подготовленным каталогом. Библиотекарь не раскрывает каждую книгу заново при просьбе найти сведения о вулканах. Он обращается к записям, которые позволяют быстро определить, где искать.

У поисковой системы таким каталогом служит индекс. Он содержит обработанные сведения о множестве страниц, но не равен полной копии интернета. Одни документы туда ещё не попали, другие недоступны, а третьи исключены по техническим причинам.

Работу обычно делят на три больших этапа: обнаружение и обход страниц, обработку для индекса и подбор результатов. Эти этапы связаны между собой, но не происходят одновременно для каждого пользовательского запроса.

2Как находят страницы

Для обхода используются специальные программы — поисковые роботы. Они обращаются к веб-серверам, получают страницы и находят в них ссылки. Переходы по ссылкам помогают обнаруживать новые адреса, примерно как указатели ведут из одной комнаты музея в другую.

Источником адресов могут быть и карты сайта. Это файлы, в которых владелец перечисляет страницы, важные для обнаружения. Однако присутствие адреса в таком файле не гарантирует, что документ окажется в поиске.

Робот не способен бесконечно и без остановок запрашивать каждый сайт. Частоту посещений приходится согласовывать с возможностями серверов и количеством материалов. Страницы, которые меняются часто, и давно неизменные документы могут проверяться с разными интервалами.

Есть и границы доступа. Материалы за входом в аккаунт обычно не доступны обычному поисковому роботу. Владелец сайта также может ограничить обход специальными правилами, хотя такие правила сами по себе не заменяют защиту закрытых данных.

3Что попадает в индекс

Полученную страницу нужно разобрать. Система выделяет текст, заголовки, ссылки и другие элементы, определяет язык и сопоставляет документ с похожими материалами. Для некоторых страниц важна и обработка программного содержимого, от которого зависит отображаемый текст.

Представим страницу о выращивании яблонь. В индексе может появиться связь между её адресом и словами о саде, почве, цветении. Когда поступит запрос на эту тему, не потребуется искать совпадения во всех сохранённых страницах подряд.

Один из базовых приёмов называется обратным индексом. Вместо перечня слов для каждого документа хранится возможность перейти от слова к документам, где оно встречается. Это похоже на предметный указатель в конце книги, только роль номеров страниц выполняют записи о веб-документах.

Несколько адресов могут показывать почти одинаковый текст. Поисковику приходится определять, какую версию удобнее представить в результатах. Поэтому количество найденных адресов и количество самостоятельных материалов не обязательно совпадают.

4Как понимают запрос

Запрос редко содержит полное описание намерения. Человек пишет «кран», а это может означать подъёмную машину или водопроводную деталь. Слова рядом, выбранный язык и другие доступные признаки помогают сузить круг возможных значений.

Поиск учитывает не только точное совпадение букв. Разные формы слова могут относиться к одной теме: «спутник», «спутники», «спутниковый». Система может учитывать близкие выражения и исправлять вероятные опечатки, хотя такие преобразования иногда дают неожиданный результат.

Разница между запросами «как работает батарейка» и «размер батарейки» особенно наглядна. В первом случае нужен рассказ о принципе действия, во втором — сведения о форме и обозначениях. Наличие одного и того же слова ещё не делает страницу одинаково полезной для обоих вопросов.

Язык и местность тоже могут иметь значение. Для запроса о ближайшей библиотеке важна территория, а для объяснения устройства Солнца она обычно менее существенна. При этом конкретный набор учитываемых признаков зависит от поисковой системы и её настроек.

5Почему ссылки стоят в таком порядке

После поиска кандидатов система оценивает, какие документы лучше отвечают запросу. Этот этап называют ранжированием. В расчёт могут входить соответствие теме, содержание страницы, её доступность и признаки качества.

Ссылки с других сайтов тоже способны служить сигналом. Но простое правило «больше ссылок — выше место» слишком грубо. Важны происхождение ссылок и контекст, а попытки искусственно создать видимость значимости могут распознаваться системой.

Свежесть материала полезна не всегда одинаково. Для расписания нужна актуальная версия, а старое объяснение закона природы может оставаться верным. Поэтому хорошая система должна соотносить возраст документа с характером вопроса.

Заголовок ссылки и короткий фрагмент под ним помогают понять, что находится на странице. Такой фрагмент может подбираться из текста под конкретный запрос. Он не обязательно совпадает с описанием, которое подготовил автор сайта.

6Где заканчиваются возможности поиска

Поисковик хранит сведения о странице на момент обработки. Если автор вчера изменил текст, результат некоторое время может показывать старый фрагмент. Между событием на сайте и обновлением индекса существует задержка.

Некоторые документы доступны по прямой ссылке, но отсутствуют в выдаче. Другие появляются, хотя нужная информация находится глубоко внутри текста. Пустой список результатов означает лишь, что система не нашла подходящий ответ в доступной ей базе при данном запросе.

Выдача также может включать карты, изображения и другие блоки, а рекламные материалы обычно отмечаются отдельно. Внешнее сходство элементов не означает одинакового способа отбора. Полезно понимать, какой именно тип результата перед нами.

Поиск сокращает путь к информации, но оценка найденного остаётся отдельной задачей. Чёткий вопрос, внимательное чтение страницы и сопоставление независимых материалов помогают увидеть больше, чем один удачно выбранный фрагмент.

7См. также

• Как работает электронная почта
• Надёжные пароли: как защитить аккаунты