Текстовые метрики в Антиплагиат.ВУЗ: влияют ли они на процент оригинальности

Про вкладку «Текстовые метрики» на кафедрах ходит уверенное мнение: если доля научной лексики низкая, а связность текста просела, процент оригинальности тоже упадёт, и к защите не допустят. Мнение это ложное. Метрики и проценты заимствований система считает по-разному и из разного: первые описывают сам текст, вторые — его совпадения с найденными источниками. Оговорка здесь про кафедру, а не про систему. Пороговых значений метрик в руководствах системы нет. Зато вуз может потребовать внести эти цифры в своё заключение — и тогда их придётся заполнить по правилам вуза. Смотреть надо в положении кафедры.

Что система называет текстовыми метриками

В таблице терминов определение короткое: текстовые метрики — это «семантические характеристики для каждого загружаемого документа».

Вкладка с ними открывается на странице результатов проверки и делится на четыре части:

• ●рубрикация документа;
• ●семантические характеристики;
• ●именованные сущности;
• ●сегментация предложений.

Это описание текста: из каких слов он состоит, есть ли в нём введение и выводы, насколько связаны предложения, какие объекты и имена в нём упоминаются. Ни в одном из четырёх блоков документация не упоминает коллекции источников и модули поиска. Расчёт, по документации, «происходит автоматически при загрузке документа» — то есть до того, как появился отчёт о заимствованиях.

Почему это не тот же процент

Четыре процента отчёта описаны в терминах системы однотипно: каждый из них — доля фрагментов, отнесённых к своей категории, «в общем объеме текста». К оригинальному тексту система относит «фрагменты проверяемого текста, не обнаруженные ни в одном источнике и не отмеченные ни одним из модулей поиска». Три остальные категории собирают то, что в источниках нашлось. Все четыре привязаны к источникам и модулям поиска: источник — это «документ, проиндексированный в системе и содержащийся в модуле поиска, по которому проводится проверка».

Семантические характеристики к источникам не привязаны вообще. Для именованных сущностей это сказано в документации открытым текстом: они «не влияют на результаты проверки на заимствования и служат для удобства ознакомления с содержанием документа». У остальных метрик такой отдельной фразы в руководствах нет, поэтому вывод приходится делать из определений. Проценты считаются по найденным совпадениям, метрики — из самого текста при загрузке. Разные входные данные, разные числа.

Из чего складываются сами проценты и почему цитирование не нужно снижать, разобрано отдельно: цитирование в Антиплагиат.ВУЗ.

Доля научной лексики: что считает алгоритм

Границы заданы жёстко: от 0% до 100%, где 100% соответствует полностью научному тексту, а 0% — полностью ненаучному. Формула в разделе про семантические характеристики такая: «отношение слов и словосочетаний, входящих в "словарь научных терминов и конструкций", к общему количеству слов и словосочетаний в проверяемом тексте».

Отсюда два практических следствия.

Первое: показатель меряет попадание в словарь системы, а глубину мысли он не оценивает. Текст по узкой теме с собственной терминологией может получить скромную цифру просто потому, что его слов в словаре мало.

Второе: рядом стоит «Доля общей лексики» с формулой «(100% – [Доля научной лексики])». Это то же самое число, повёрнутое другой стороной. Смотреть на оба показателя как на два независимых сигнала бессмысленно.

Наличие разделов и связность

Пять характеристик система отмечает как присутствие или отсутствие: наличие аннотации, выводов, введения, описания метода исследования, описания результатов исследования. Оценки качества тут нет. Система фиксирует факт: нашла она такой раздел или не нашла. Полезно это как механическая вычитка: если «Наличие выводов» пусто, стоит проверить, выделены ли выводы в работе отдельным заголовком.

«Оценка связности текста» — показатель от 0% до 100%, где 100% соответствует идеально связному тексту, а 0% — полностью бессвязному. В документации сказано, что связность текста «характеризуется синтаксической и семантической связанностью его предложений».

У этого показателя есть честно описанная слабость: «при определении связности текста может возникать погрешность из-за проверки документа с помощью OCR и наличия изображений в проверяемом документе». Если работа загружалась сканом или напичкана схемами и формулами, низкая связность может оказаться артефактом распознавания, и к качеству текста отношения не иметь. Переписывать абзацы из-за такой цифры — работа впустую.

Границы разделов — отдельная история: от них зависит, какая часть работы пойдёт в проверку (сам выбор разделов руководство относит к платным возможностям), об этом есть разбор структуры документа.

Рубрикация, сегментация, именованные сущности

Коды рубрикации — это обозначения универсальных классификаторов, относящие работу к области знания. Предложенный системой код подтверждается кнопкой «Подтвердить», свой добавляется через поле «Выбрать из полного списка», а выбранный раньше сбрасывается кнопкой «Сбросить». Система оговаривает отдельно: редактирование кодов рубрикации доступно только для новых документов — документы, загруженные до подключения этой возможности, отредактировать уже нельзя.

Сегментация предложений выгружается кнопкой «Скачать файл»: система формирует xml, где документ представлен списком сегментов, а после них идёт список смысловых единиц. Для автора работы это служебные данные, пригодные скорее для разбора, чем для правки текста.

Именованная сущность по определению документации — «слово или словосочетание, выделяющее определенный предмет или явление из ряда однотипных предметов или явлений». Список открывается кнопкой «Посмотреть список» в блоке «Текстовые метрики»: система показывает текст без форматирования и выделяет найденные сущности цветом, а свои можно добавить вручную, выделив слово и нажав «Добавить». К расчёту заимствований этот список отношения не имеет: цитата приведена выше.

Если вкладки нет или метрики пустые

Прежде чем писать в поддержку, проверьте три причины.

1. 1Документ старый. Расчёт метрик производится только для новых документов: «Для документов, загруженных до подключения данного функционала, расчет не производится». Метрики появятся только у новой загрузки — у старого документа они не досчитаются.
2. 2Функцию не подключили. Оговорка про подключение встречается в руководствах один раз — там, где описана прямая ссылка на отчёт: внешнему пользователю доступен просмотр отчёта и текстовых метрик, «если данная функция подключена». Распространяется ли это подключение на весь кабинет организации, руководства не уточняют, так что вопрос адресуется тому, кто администрирует систему в вузе.
3. 3Вы смотрите не туда. Чтобы открыть метрики, надо напротив нужного документа нажать «Просмотреть результаты» и выбрать вкладку «Текстовые метрики». В полном отчёте просмотр текстовых метрик стоит отдельным пунктом в списке действий кнопки «Действие», а в кабинете студента это кнопка-иконка в верхней панели документа, рядом с печатью и выгрузкой отчёта.

У этой же иконки есть неочевидное следствие: метрики видит не только автор. Тот, кому дали прямую ссылку на отчёт, тоже их откроет, если функция подключена. Отчёт студенту при этом виден лишь тогда, когда преподаватель открыл доступ — у кого какие права и что показывает выгруженный документ, собрано в статье про справку о проверке.

Когда цифры всё-таки спросят

В руководствах указана только шкала 0–100%. Как вуз распорядится этими цифрами, система не регулирует.

Пример из жизни: в положении МГППУ о проверке диссертаций (утверждено решением Учёного совета, протокол № 14 от 16.12.2020) бланк заключения об оригинальности содержит отдельный абзац (орфография документа сохранена): «Проверка семантических характеристик рукописи диссертации показал, что доля научной лексики в тексте составляет ____%. Оценка связности текста составляет ____%». Это документ одного вуза; общего правила из него не следует. Но он показывает, что цифры из вкладки могут дойти до официального заключения — в виде строки, которую надо заполнить.

Ищите в положении своей кафедры слова «семантические характеристики», «научная лексика» или «связность». Нашли — цифру придётся заполнить по правилам вуза. Не нашли — считайте её диагностикой текста и не тратьте на неё нервы перед защитой.

Что делать с процентом, который действительно важен

Если в положении метрик нет, а до нормы не дотягивает процент совпадений, работа переносится на другой экран отчёта: список источников и отмеченные в тексте фрагменты.

Если отмеченных фрагментов десятки и лежат они в основных главах, ручная переработка съедает недели. Такую переработку по загруженному PDF-отчёту делает AntiplagiatAI, независимый сервис, не связанный с компанией «Антиплагиат»: правка идёт строго по помеченным в отчёте фрагментам, остальной текст не меняется. Бесплатно доступны первые 3 000 символов — на них видно, как именно переписываются помеченные места. Какой процент получится после переработки, заранее сказать нельзя: итог считает алгоритм вуза на своих настройках.

Коротко

• ●Текстовые метрики — семантическое описание документа, считается при загрузке, к расчёту заимствований не относится.
• ●Доля общей лексики — это 100% минус доля научной лексики, отдельного смысла в ней нет.
• ●Низкая связность у сканов и работ с картинками может быть погрешностью распознавания, о чём документация сообщает сама.
• ●Именованные сущности служат для чтения документа, в расчёте они не участвуют.
• ●Метрики считаются только для новых документов; у старой загрузки их не будет.
• ●Потребовать эти цифры в заключении может вуз. Проверьте положение своей кафедры.

Нужна помощь с уникальностью?

Первые 3 000 символов — бесплатно. Без регистрации.