Сделал поиск на сайте

Из-за особой необычной архитектуры хранения статей и текстовых разделов на моём сайте, где сайт построен по принципу текстовых и JSON файлов, связанных между собой особым образом, то пришлось творчески подойти к процедуре поиска.

Как обычно я начал с изобретения велосипеда - моего любимого действия, потому что мне интересно как всё работает и как всё устроено. Я сделал скрипт по индексированию сайтмепов языковых, обходу всех страниц и построению индекса из токенов, которые я строю на основе заголовка, текста превью и текста статьи, не забываю и про ключевые слова.

Потом я сохраняю все токены и ссылки на соответствующие статьи в отдельный файл для каждого языка. Скрипт поиска по этим токенам я сделал на JS, который быстро ищет по токенам текст, с простыми преобразованиями Дамерау-Левенштейна. Это позволяет не делать сложный семантический поиск, но хватает чтобы по созвучным словам и вхождениям находить искомый текст прямо в режиме набора символов. Работает на "лету" и ест ресурсы только локального компа, нагрузки на сервере нет.

Не могу сказать, что поиск идеальный, но для моих задач он достаточен. Пользуйтесь.