V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cncmmdwl
V2EX  ›  程序员

tar 打包慢应该从那查问题

  •  
  •   cncmmdwl · 132 天前 · 1574 次点击
    这是一个创建于 132 天前的主题,其中的信息可能已经有所发展或是发生改变。

    电脑是 i9-10900k ssd 是 satassd 内存 128g 使用 7z 的 tar 打包 速度只有 24mb/s 打包的文件大多数在 50mb 左右 这里面是什么导致了压缩速度瓶颈?

    18 条回复    2022-01-10 17:27:37 +08:00
    momocraft
        1
    momocraft  
       132 天前
    如果有压缩 大概率是压缩慢
    可以试试 tar c ITEMS | pv > /dev/null 有多快
    liuidetmks
        2
    liuidetmks  
       132 天前
    是不是文件太小 太多?
    2i2Re2PLMaDnghL
        3
    2i2Re2PLMaDnghL  
       132 天前
    @momocraft tar 没有压缩的
    villivateur
        4
    villivateur  
       132 天前 via Android
    大概率是磁盘 io 瓶颈了,其他配置都不差
    ReysC
        5
    ReysC  
       132 天前
    检查 SSD 的状态,可能 SSD 本身出问题
    zhangjinghua
        6
    zhangjinghua  
       132 天前
    肯定是先看一下资源管理器,那个东西占满了。如果还找不到,那就尝试用别的软件进行压缩测试排除软件问题,最后看一下压缩算法,或者核心数占用问题。检查硬盘 IO/内存带宽和速度。
    2i2Re2PLMaDnghL
        7
    2i2Re2PLMaDnghL  
       132 天前
    先过一个 CrystalDiskMark 吧
    kidonng
        8
    kidonng  
       132 天前 via Android
    试试换别的 tar 实现,比如 GNU 或者 BSD tar
    nightwitch
        9
    nightwitch  
       132 天前
    检查下 7z 的 tar 实现是不是带有压缩
    cncmmdwl
        10
    cncmmdwl  
    OP
       132 天前
    @2i2Re2PLMaDnghL cdm 没问题,是一块固态应该有的速度
    cncmmdwl
        11
    cncmmdwl  
    OP
       132 天前
    @liuidetmks 文件很多,但是不小,都在 4m 以上
    felixcode
        12
    felixcode  
       132 天前 via Android
    做个 ramdisk ,在这里面试一下,反正你内存有富余
    cncmmdwl
        13
    cncmmdwl  
    OP
       132 天前
    @villivateur satassd 再差应该也差不到哪里去吧
    cncmmdwl
        14
    cncmmdwl  
    OP
       132 天前
    @zhangjinghua 资源管理器占用都很低, 我是 windows 系统 别的 2345 好压好像也一样,显示打包速度都在 30m 左右
    dem0ns
        15
    dem0ns  
       132 天前
    是不是加了-v 参数? 屏幕输出会导致运行效率变低
    2i2Re2PLMaDnghL
        16
    2i2Re2PLMaDnghL  
       132 天前
    对了,7z 的性能基准测试过一下?(这个测试应该是不走硬盘的)
    用 resmon 看一下 7z 的等待链?(是否在等待其他东西)
    文件系统?
    试试在 WSL 里跑个 tar (鉴于你文件在 Windows 里,应该用 WSL1 避免 9p 降速)

    @nightwitch tar 文件类型本身不支持压缩
    Felldeadbird
        17
    Felldeadbird  
       132 天前
    之前我服务器 tar 打包 一个 500M 文件,2 小时都没打包完毕。服务器是 SSD 。 后来我查了进程,原来是有一个别的进程占用了大量 IO 。

    试下排除一下?
    cncmmdwl
        18
    cncmmdwl  
    OP
       132 天前
    @2i2Re2PLMaDnghL
    基准测试 32m 20c 66GIPS 57609kb\s 基准性能测试和 tar 应该无关吧?
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2831 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 13:51 · PVG 21:51 · LAX 06:51 · JFK 09:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.