Ложные срабатывания приворот и порча: как чистить выдачу от мусора

В интернете встречается огромное количество материалов, где упоминаются такие «мрачные» термины, как приворот и порча. При автоматическом поиске (поисковые системы, базы данных, скрипты‑парсеры) часто возникают ложные срабатывания – результаты, в которых искомое слово присутствует, но контекст не имеет отношения к магии, колдовству или эзотерике. В статье рассмотрим причины таких ошибок и предложим практические способы их минимизации.

Почему появляются ложные срабатывания?

Омонимия и морфологическая вариативность. Слова «приворот», «приворотный», «приворотить», «порча», «порчевой», «порчить» – все они содержат одинаковый корень, но относятся к разным смысловым полям.
Созвучие с другими словами. Поисковые алгоритмы, основанные только на совпадении подстрок, могут «поймать» части слов («приворотный», «порчевый»), которые в тексте употребляются в нейтральном значении.
Отсутствие контекстного анализа. Системы, не учитывающие соседние слова, не различают «приворотный аромат» (о парфюме) и «приворотный заговор» (о магии).
Технические ограничения. При поиске в больших корпусах часто используют быстрые алгоритмы (например, Рабина‑Карпа), которые сначала сравнивают хеши и лишь потом проверяют совпадение, что повышает вероятность пропуска дополнительной проверки контекста.

Общие стратегии снижения количества ложных срабатываний

2.1 Точная фразовая поисковая строка

Обрамление искомого слова в кавычки ("приворот") заставляет поисковик искать именно эту последовательность символов, а не её часть.

2.2 Использование операторов `AND`, `NOT`, `OR`

Пример: "приворот" AND (магия OR заговор) NOT (парфюм OR аромат) – исключаем статьи, где слово встречается в контексте парфюмерии.

2.3 Ограничение по части речи и лемме

С помощью морфологического анализатора (например, pymorphy2) можно отфильтровать формы, не являющиеся существительными‑существительными в нужном значении.

2.4 Поиск с границами слова

Регулярные выражения с (word boundary) позволяют искать только отдельные слова:

import re
pattern = r'приворот' # найдёт только «приворот», а не «приворотный»
matches = re.findall(pattern, text, flags=re.IGNORECASE)

2.5 Близость (proximity) и контекстные окна

Ограничиваем поиск словами‑контекстами в радиусе 5‑ от искомого термина. Если в окне присутствуют «заговор», «ритуал», «магия», считаем результат релевантным.

2.6 Исключающие (negative) ключевые слова

Список типичных «ложных» контекстов:

парфюм, аромат, запах
порчевый (о цветах)
приворотный (о ароматах, косметике)
порчевый (о винограде)

Эти слова добавляются к запросу через NOT.

2.7 Хеш‑поиск с последующей проверкой (Rabin‑Karp)

Алгоритм Рабина‑Карпа быстро находит подстроку, но после совпадения хеша необходимо выполнить полную проверку, включая проверку границ слова и контекста.

def rabin_karp(text, pattern):
 # упрощённый пример
 n, m = len(text), len(pattern)
 if m > n: return []
 base = 256
 mod = 101
 h_pat = 0
 h_txt = 0
 for i in range(m):
 h_pat = (h_pat * base + ord(pattern[i])) % mod
 h_txt = (h_txt * base + ord(text[i])) % mod
 results = []
 for i in range(n ⸺ m + 1):
 if h_pat == h_txt:
 # полная проверка границ и контекста
 if (i == 0 or not text[i-1].isalnum) and 
 (i+m == n or not text[i+m].isalnum):
 window = text[max(0,i-30):min(n,i+m+30)]
 if any(k in window.lower for k in ['магия','заговор','ритуал']):
 results.append(i)
 if i < n ⸺ m:
 h_txt = (h_txt ⎼ ord(text[i]) * pow(base, m-1, mod)) * base + ord(text[i+m])
 h_txt %= mod
 return results

Практические примеры применения

3.1 Поиск в Google‑подобных системах

Запрос, минимизирующий ложные срабатывания:

"приворот" (магия OR заговор) -парфюм -аромат

3.2 Поиск в базе данных (SQL)

SELECT *
FROM articles
WHERE
 (content LIKE '%приворот%')
 AND (content NOT LIKE '%парфюм%')
 AND (content NOT LIKE '%аромат%')
 AND (REGEXP_LIKE(content, '\bприворот\b'));

3.3 Поиск в больших текстовых корпусах (Python + Whoosh)

from whoosh.qparser import QueryParser, OrGroup, AndGroup, NotGroup
parser = QueryParser("content", schema=my_schema, group=AndGroup)
query = parser.parse('"приворот" AND (магия OR заговор) NOT (парфюм OR аромат)')
results = searcher.search(query, limit=100)

Специфика слов «приворот» и «порча»

Слово «приворот» часто встречается в сочетаниях приворотный аромат, приворотный эффект. Чтобы отсеять такие случаи, используем отрицательные фильтры NOT "аромат" и проверку границ.
Слово «порча» может обозначать порчу винограда, порчевый цвет. Добавляем в список исключений виноград, цвет, порчевый.

Оценка эффективности фильтрации

Для измерения качества используют метрики precision (точность) и recall (полнота). Ниже пример расчёта:

# Предположим:
TP = 120 # истинно‑положительные (правильные результаты)
FP = 30 # ложные срабатывания
FN = 20 # пропущенные релевантные документы

precision = TP / (TP + FP) # 0.80
recall = TP / (TP + FN) # 0.86

Цель – максимизировать precision, т.к. в данном случае важнее избавиться от «шумных» результатов, чем упустить несколько редких статей.

Рекомендации по внедрению

Сформировать список ключевых слов‑контекстов (магия, заговор, ритуал, отворот, снятие).
Составить черный список слов‑омонимов (парфюм, аромат, виноград, цвет).
Выбрать технологию поиска (SQL, ElasticSearch, Whoosh) и реализовать фильтры границ слова.
Добавить пост‑фильтрацию на уровне кода: проверка наличия хотя бы одного контекстного слова в окне ±.
Провести тестирование на разметченной выборке (например, 500 статей, где 250 – релевантны, 250 – нет) и измерить precision/recall.
Регулярно обновлять списки исключений, так как язык постоянно меняется.

Ложные срабатывания при поиске слов «приворот» и «порча» – типичная проблема, возникающая из‑за морфологической гибкости русского языка и высокой созвучности терминов. Комбинация точного поиска, морфологической фильтрации, контекстного анализа и пост‑проверки (например, с помощью алгоритма Рабина‑Карпа) позволяет существенно снизить количество нерелевантных результатов. При правильной настройке системы вы получаете более чистый и полезный набор документов, экономя время как пользователям, так и разработчикам;

Помните: любой автоматический поиск – это компромисс между скоростью и точностью. Регулярный аудит запросов и корректировка фильтров помогут поддерживать оптимальный уровень качества.