Script de desduplicação executado com bash e zsh para Linux, macOS, etc?

Question

Tenho um cenário em que frequentemente puxamos arquivos duplicados que ocupam muito espaço. Não há uma maneira razoável de interromper o recebimento desses arquivos duplicados devido à irregularidade e ao método de entrada.

Encontrei alguns aplicativos gráficos que fazem um bom trabalho de desduplicação / remoção dos arquivos apropriados, mas eu realmente preciso que isso seja executado como um script sem uma IU rotineiramente.

Alguém está familiarizado com um binário de script / shell abrangente que desduplicará excluindo a versão mais recente (deixando a versão mais antiga) de arquivos com base em uma comparação md5 soma + data?

Answer 1

Tanto RDFind quanto fdupes parecem fazer o trabalho.