Лингвистический анализ текста и распознавание автора https://fantlab.ru/article374

© Львов Алексей

Лингвистический анализатор, описываемый в данной статье, разрабатывался в течение 2007-2008 годов в рамках сайта «Лаборатории Фантастики». Изначально ставилась цель проанализировать тексты русскоязычных писателей-фантастов и выявить значимые их характеристики, описывающие в совокупности авторский стиль, или так называемый «авторский лингвопрофиль».

Для достижения поставленной цели был написан програмный код, получающий на входе текст, скажем, романа, и выдающий на выходе более тысячи различных его статистических характеристик, среди которых:

1. Средняя длина предложения (СДП), знаков
2. СДП авторского текста, знаков
3. СДП диалога, знаков
4. Доля диалогов в тексте
5. Доля авторского текста в диалогах
6. Динамика использование диалогов по тексту (график)
7. Использовано уникальных слов (всего уникальных слов, как словарных, так и выдуманных автором)
8. Активный словарный запас (количество уникальных словарных слов в тексте)
9. Активный несловарный запас (количество уникальных выдуманных слов в тексте — сюда входят все имена, названия и неологизмы)
10. Удельный АСЗ на 3000 слов текста (среднее количество уникальных словарных слов на 3000 слов текста)
11. Удельный АСЗ на 10000 слов текста
12. Удельный АСЗ на 100000 слов текста
13. Динамика изменения УАСЗ-3000 от начала до конца произведения (график)
14. Статистика использования частей речи: процент существительных, прилагательных, глаголов, местоимений-существительныхм, местоименных прилагательных, местоимений-предикативов, числительных (количественных), числительных (порядковых), наречий, предикативов, предлогов, послелогов, союзов, междометий, вводных слов, фразовых глаголов, частиц, кратких прилагательных, причастий, деепричастий, кратких причастий и инфинитивов. А также — неопределённых частей речи и т.н. служебных частей речи.
15. Биграммы частей речи — частота употребления пар «существительное-глагол», «наречие-прилагательное» и т.д. для всех перечисленных выше частей речи.
16. Части речи на позициях в предложении — как часто первым словом в предложении является местоимение, как часто вторым является глагол и т.п. По всем частям речи, вплоть до 20й позиции.
17. Частоты всех известных знаков препинания.
18. Биграммы буквенных пар — простой подсчёт частот всех алфавитных пар «аа», «аб», «ав»... «ба», «бб» и т.д.
19. Биграммы «соединительных символов» (частоты пар первой буквы текущего слова и последней буквы предыдущего — исключая имена, названия и пр.)

     

     

20. Биграммы первых символов, т.е. первого символа слова и первого символа следующего за ним слова (добавлено в 2013 году — точность заметно повысилась) Читать далее

    ---

     

Что-то совсем стало мало знаков в лирушных сообщениях(

Продолжу, потому как хочу сохранить этот вариант анализа. https://fantlab.ru/work360897/lp

Арина: прочитала книгу "Аристономия" Бориса Акунина (Григорий Чхартишвили). Очень она своевременной для меня оказалась и современной показалась, хоть и рассказывает про события времён революции и гражданской войны прошлого века. Но поиск человеческого пути, его выбор, остаётся современным во все времена.

Решила посмотреть информацию о ней. и зашла на сайт https://fantlab.ru/work360897/lp

И оказалось, там делают лингвистический анализ книги. Чтобы не потерялось, скопирую -  как пример, как можно текст любой анализировать с точки зрения лингвистики.

Лингвистический анализ произведения