• Home
  • Categories
  • WIKI
  • LANGUAGE: en
    • 测试一下压缩效率，速度优先
    Apps Section 1130 views · 4 replies ·
    Tofloor
    poster avatar
    xliang9550
    deepin
    2015-02-21 02:58
    Author
    刚刚看了一下man page，测试了一下这个压缩参数：
    1. XZ_OPT=-0v tar -Jcfv archive.tar.xz files
    Copy the Code
    古董本T61的压缩速度可以达到两位数（MiB/s），压缩率好于zip/gzip的最大压缩级别或者bzip2的中高等压缩级别。
    以前一直追求更高的压缩率，不过现在容量不是问题了，改为追求快速。
    另外lzip怎么样？暂时没看到类似XZ_OPT这样的环境参数，似乎需要利用管道解决？
    Reply Favorite View the author
    All Replies
    xliang9550
    deepin
    2015-02-23 22:51
    #1
    补充一下lzip的使用方法，经个人测试成功。
    安装：
    1. sudo apt-get install lzip
    Copy the Code
    使用tar打包成tar.lz（需要tar版本1.23以上）：
    1. tar --lzip -cvf archive.tar.lz files
    Copy the Code
    自定义压缩级别，-0为快速压缩，-9为最大压缩：
    1. tar -cvf - files | lzip -0 - > archive.tar.lz
    Copy the Code
    速度比xz快，压缩率略低于bzip2最大压缩，不过仍然好于gzip。
    Reply View the author
    Bluek404
    deepin
    2015-02-24 00:37
    #2
    对压缩率没要求的话其实还不如只用tar打包一下
    Reply View the author
    xliang9550
    deepin
    2015-02-24 02:01
    #3
    对于冗余度较大的可压缩的数据，花费不太多的CPU资源换取相当可观的磁盘空间，还是值得的。
    例如我刚刚进行的一次大规模计算，临时文件是1.3TiB，花费十几分钟即可压缩到300GiB以内，省下的1TiB磁盘空间也是成本啊……
    我用的是plzip，针对多线程优化，哪怕是最快速的压缩也能起到很好的效果。好在软件支持将临时文件分块存放，我临时挂载了两块1TB（大约930GiB）的移动硬盘加上工作站本地硬盘配合存放临时文件。
    Reply View the author
    xliang9550
    deepin
    2015-04-23 02:51
    #4
    论坛更新后有些符号不能正常显示了，上例中的最后一个命令应该是这样：

    tar -cvf - files | lzip -0 - > archive.tar.lz

    （吐槽一下，对普通用户不开放贴代码的权限，回帖字体设置中又只有simsun一种等宽字体）
    Reply View the author