Как найти потенциально дубликаты файлов в текущей папке?

Question

Как найти потенциально дубликаты файлов в заданном каталоге? Есть ли какие-то существующие инструменты для такого рода вещей? Некоторые эвристики, о которых я могу думать:

• он должен быть рекурсивным.
• он должен сравнить только имена файлов и размер, и ничего другого
• он должен быть в состоянии найти дубликаты, когда имена файлов тривиальным различны, такие как «foobar.txt» и «foobar.txt (2)»
• У меня есть файлы на диске, которые можно установить на Linux, Mac OS X или Windows по желанию

Answer 1

В Linux/UNIX вы можете использовать команду «sum» или «md5cum» для создания контрольной суммы для каждого файла. Затем просто найдите файлы с той же контрольной суммой.

Превосходным способом сделать это будет сортировка вывода команды sum с помощью команды сортировки и поиск последовательных записей с той же контрольной суммой.

Превосходный способ получить список дубликатов файлов будет сортировать вывод команды sum в файл, а затем повторить это с параметром «-u» для сортировки, создания уникального списка и разграничения файлы. Разница будет в дубликатах файлов.

Answer 2

Если вы ищете дубликат искателя на Mac, посмотрите Близнецы. Он позволяет перетаскивать определенные папки для сканирования и сразу же просматривать найденные дубликаты, чтобы вы могли понять, какие экземпляры файла должны быть оставлены нетронутыми.

Однако я не знаю, соответствует ли он всем вашим требованиям, но в любом случае вы можете найти Близнецов в Mac App Store, если они заинтересованы.