Анализ релевантности контента ключевым словам через векторные вложения

Как известно, нынче Гугл использует семантический анализ вместо лексического. Он использует векторные вложения для понимания контекста и смысла контента, а не только ключевых слов. Это стало возможным благодаря моделям вроде BERT и SCaNN.

В прошлом году вышла статья, в коей было показано как прикрутить подобный анализ к лягушке. Но ну его нафиг использовать лягушку и OpenAi платный (хоть и копеечный), когда есть сотни обученных моделей. Собственно говоря накидался скрипт, который:
1. Запрашивает URL страницы и SEO-ключ (например, ключевое слово или фразу).
2. Извлекает основной контент страницы.
3. Генерирует векторные вложения для контента и SEO-ключа.
4. Вычисляет релевантность через косинусную схожесть векторов.
Выложил скрипт в комментариях, теперь выкладываю вот тут.

Он же скомпилированный под exe. 200 метров качать. Все библиотеки внутри. Пасс: 123

Запускается долго. Использует семантическую модель all-mpnet-base-v2.

Отдаю как есть. У меня прекрасно все работает.

#DrMax #SEO #soft