Как работает поиск в Сайт-Менеджере
Для поискового движка у нас существует отдельный сервер, который занят исключительно поиском. На нем установлен поисковый движок Sphinx, промежуточная база исходных данных, файлы индекса и необходимый для взаимодействия API.
Ежедневно (на самом деле еженочно) мы запускаем переиндексацию контента сайтов и подготавливаем удобную для движка промежуточную таблицу. Сфинкс забирает из нее данные и обновляет свой индекс.
Когда пользователь задает на сайте поисковый запрос, мы направляем его в поисковый движок и получаем результаты, которые кешируем на несколько минут локально в платформе. Данные с сервера поиска мы дополняем уже на самой платформе, записываем статистику поиска по сайту для его владельца и только тогда отображаем результаты пользователю.