Документ схожесть selfplagiarism

Question

У меня есть тысячи небольших документов от 100 разных авторов. Используя пакет quanteda, я вычислил сходство косинусов между авторами с самим собой. Например, у автора x есть 100 текстов, поэтому я придумал матрицу подобия 100 х 100. Автор y имеет 50 текстов, поэтому я придумал матрицу подобия 50 x 50.

Теперь я хочу сравнить этих двух авторов. Другими словами, какой автор копирует себя больше? Если я беру среднее число столбцов или строк, а затем снова усредняю ​​вектор средств, я прихожу к числу, чтобы сравнить эти два средства средств, но я не уверен, правильно ли это происходит. Надеюсь, я поняла.

Answer 1

Я думаю, что ответ зависит от того, что именно представляет собой ваше количество процентов. Если это сводная информация о том, насколько схожие являются авторскими документами друг к другу, то некоторое распределение по сходству документа внутри автора, вероятно, является вашим лучшим способом сравнения этого количества между авторами.

Вы можете сохранить и нарисовать сходство косинусов по документам автора как плотность, например, в дополнение к вашей стратегии суммирования этого распределения с использованием среднего значения. Чтобы зафиксировать дисперсию, я бы также характеризовал стандартное отклонение этого сходства.

Я бы с осторожностью относился к коллизионному сходству внутри автора как к «самоплагиату». Косинус-подобие вычисляет меру расстояния между векторными представлениями мешков слов и не рассматривается как метод идентификации «плагиата». Кроме того, есть очень уничижительные оттенки термина «плагиат», что означает нечестное представление чужих идей как ваших собственных. (Я даже не считаю, что термин «само-плагиат» имеет смысл на всех, но у меня есть академические коллеги, которые не согласны.)

Добавлено:

Рассмотрим в textreuse package для R, то разработанный для текстового анализа повторного использования, которое вы ищете.

Я не думаю, что расстояние Левенштейна - это то, что вы ищете. Как указывает Wikipedia page, LD между котенком и сидит составляет 3, но это означает абсолютно ничего в материальных терминах относительно их семантических отношений или одного из примеров «повторного использования» другого. Можно было бы аргументировать, что LD на основе слов может показать повторное использование, но это не так, как большинство алгоритмов, например. http://turnitin.com реализовать обнаружения для плагиата.