Смотрим на конспирологическую теорию о том, что авторство “12 стульев” и “Золотой телёнок” принадлежит М. Булгакову
В последнее продолжительное время занимаюсь разработкой ПО и алгоритмов по русистике. Иногда ищу обсуждение, задачки из комментариев в соцсетях. Попался на глаза занятный коммент на Хабре:
На основе стилометрического анализа: авторство произведений "12 стульев" и "Золотой телёнок" не принадлежат М. Булгакову, однако кластеризация поставила тексты Булгакова и Ильфа/Петрова рядышком, что говорит о высокой близости, наверное отсюда и вытекает конспирология. На самом деле погрешность растёт ещё и из-за цензуры/издания (советы крутили тексты, как хотели, что фиксируют метрики лексического разнообразия).
Алгоритм кластеризации: считаю буквенные n-граммы текстов, как придумал Бёрроуз в 2002 году однако с учётом морфологии русского языка (простыми словами: на этом шаге игнорирую шум - сюжет и диалоги), добавляю признаки на основе пунктуации и доли эмоционального тона, а на пред финише стилистическое сходство между книгами вычисляю через косинусное расстояние (тогда как в классике метод Дельты Бёрроуза использует менее точное - манхэттенское расстояние, это не только моя оценка на основе разработки/улучшения алгоритма и анализа текстов, но в некоторых англоязычных рецензируемых статьях приложены пруфы, где "косинус даёт более релевантные результаты"). На финальном шаге алгоритм UPGMA из научной либы Scipy осуществляет группировку на основе матрицы расстояний -> получаю живой график в Plotly (работает прицел и всплывающая подсказка).
Пример кластерного анализа книг, интересует В. Панов, где одна его книга сильно выбивается из авторского стиля. Причина найдена сразу: открываем аннотацию к "подозрительной" книжке и видим, что текст написан в соавторстве с Р. Папсуевым, а не чисто Пановым (кстати, там ещё и по другим лингвопризнакам различия всплывают, но это уже за пределами нашей кластерной темы). Обратите внимание, как математика кластеризации красиво сортирует: тексты группируются пачками по авторам, можно подкидывать ноунейм тексты и вычислять псевдонимов, примерно так и была разоблачена госпожа Роулинг под левым именем Гэлбрейта в 2013 году.
Возвращаемся к основному анализу, что там с Булгаковым...
Сходство между текстами Булгакова "Матер и Маргарита" vs Ильфа/Петрова "Золотой телёнок" всего лишь 20% в размерной шкале, т.е. низкое. Тогда как сходство АС между "Телёнком" и "Стульями" - 66% (тексты за одним(и) автором), Но для ажиотажа добавлю, что максимальное зафиксированное сходство между Булгаковым и Ильфом/Петровым зафиксировано между "Золотой телёнок" и "Белая гвардия" - 36%, цифра довольно внушительная (возможно, к правке рукописей причастны те же люди, ответственные за цензуру в 1930-х гг.), но показатель не достаточный, чтобы поддерживать конспирологическую теорию на высокой ноте.
Полная матрица сходства и различий по авторскому стилю на основе моей мини библиотеки. Можно скачать живую визуализацию для более удобного анализа, выложил файл тут.
P/S2: Прототип академического ПО для анализа текстов, которое ждут в России, почти готово, спустя всего-то в целом какие-то пару лет...
ПО включает пару десятков живых визуализаций, и ещё больше текстовых метрик (ссылок всяких нет, не реклама).
