• 那是云首页
  • 快捷导航
  • 更多
    设为首页收藏本站
  • |
花生壳

群晖删除重复文件

群晖 Synology  / 教程分享  / 只看大图  / 倒序浏览   © 著作权归作者本人所有

#楼主# 2018-10-24 23:36

跳转到指定楼层
ds photo 多次上传了重复图片,群晖自带的文件检索删除太慢,需要一个一个删除。初期打算用python 批量删除,可惜网上的教程都需要注册码邀请之类的
比如
https://www.52pojie.cn/thread-761147-1-1.html
http://www.gebi1.com/thread-284661-1-18.html

百度了一下,找到一个程序可以批量删除


https://www.xuebuyuan.com/3204765.html
  1. #!/bin/bash
  2. #name:remove_one.sh
  3. #用途:查找并删除重复文件,每个文件只保留一个样本

  4. #将文件依据大小排序并输出
  5. ls -lS | awk 'BEGIN {
  6. #得到第一行total总数并丢弃,读取下一行
  7. getline;getline;
  8. name1=$9;size=$5;
  9. }
  10. {
  11. name2=$9;
  12. if(size==$5)
  13. #大小一样的可能是内容相同的文件
  14. {
  15.   #用md5进行校验和
  16.   ("md5sum "name1)|getline; csum1=$1;
  17.   ("md5sum "name2)|getline; csum2=$1;
  18.   #如果校验和相同则为内容相同的文集,输出名字
  19.   if( csum1==csum2 )
  20.   {
  21.    {print name1;print name2}
  22.   }
  23. };
  24. size=$5;name1=name2;
  25. }' | sort -u > duplicate_files

  26. #计算重复文件的md5sum,将重复文件中的一采样写入duplicate_sample中
  27. cat duplicate_files|xargs -I {} md5sum {}| sort | uniq -w 32 | awk '{print $2}' | sort -u > duplicate_sample

  28. echo Removing...

  29. #删除在duplicate_files中列出且未被duplicate_sample列出的全部文件
  30. comm duplicate_files duplicate_sample -2 -3|tee /dev/stderr|xargs rm
  31. echo Removed duplicates files successfully
复制代码
保存为*.sh   文件


执行:
需要root权限  
先执行
sudo -i
然后
sh *.sh
过滤的是当前目录下的,不处理目录,不递归处理子目录



截图201810242335255068.png


那是云论坛 - 国内知名的NAS交流平台
http://www.nasyun.com
分享淘帖
回复 印象

使用道具

0

精华

4

回帖

70

积分

入门用户

Rank: 1

云币
0
贡献
0
活跃
68
精华
0
yixiaozi 发表于 2018-10-26 13:32 来自 中国北京
那两个帖子是我写的,有什么问题吗?

点评

把你写的那个也放上来吧  详情 回复 发表于 2018-10-30 09:59
回复 支持 反对 印象

使用道具 举报

0

精华

257

回帖

1521

积分

发烧玩家

Rank: 2

云币
0
贡献
93
活跃
924
精华
0
zhouhui920 发表于 2018-10-29 19:32 来自 中国福建厦门
我就想文件名不一样,文件一样的可否用这个,感觉还是直接电脑映射网盘,直接本地处理吧
回复 支持 反对 印象

使用道具 举报

0

精华

687

回帖

2761

积分

搞机大神

Rank: 3Rank: 3

云币
1
贡献
0
活跃
2417
精华
0
点点449 发表于 2018-10-29 19:45 来自 中国辽宁丹东
啥也不说了,感谢楼主分享哇!
回复 支持 反对 印象

使用道具 举报

0

精华

45

回帖

418

积分

入门用户

Rank: 1

云币
0
贡献
0
活跃
395
精华
0
ccc520accc 发表于 2018-10-30 09:59 来自 中国北京
yixiaozi 发表于 2018-10-26 13:32
那两个帖子是我写的,有什么问题吗?

把你写的那个也放上来吧
回复 支持 反对 印象

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于作者

hujinchaopk

入门用户

  • 主题

    4

  • 帖子

    73

  • 关注者

    19

etsme
快速回复 返回列表 搜索 官方QQ群
懒人地图| 手机版|小黑屋| 智能生活 , 上那是云 |闽ICP备2020018196号-1 |网站地图