首页
学习
活动
专区
圈层
工具
发布

大数据压缩处理:数据分卷压缩和分卷压缩解压

最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小 公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN, 但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题...10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G 然后再通过VPN上传到服务器就相对容易能保证数据的完整性 二、数据分卷压缩 1、右键点击文件,选择“添加到压缩文件” ?...2、压缩文件格式选择“7Z”,压缩分卷大小这里选择了1G ? ?  压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G ? ?...三、分卷压缩解压 分卷压缩文件只需要解压第一个文件,软件会自动识别压缩文件全部解压 需要注意的是每个分卷文件都缺一不可,并且在同一文件夹下,否则会解压失败 windows解压只需要右键点击第一个文件解压就可以全部解压...linux解压7z文件需要先安装解压工具 yum -y install p7zip 解压命令 7za x filename.7z.001

3.5K10

LinuxShell下分卷压缩与解压

简介 由于网络传输有时会限制单个文件大小,所以对于大文件的传输我们需要将其分卷压缩成多个小的压缩包。...在 LinuxShell 下可以使用 split & cat(系统自带)命令或直接使用压缩软件 rar、zip、7z(需自行安装)命令来实现分卷压缩和解压。...2. rar/7z 命令 2.1 分卷压缩 rar/7z a -v[b,k,m,g,...]...2.2 解压 rar/7z 命令解压很方便,只需对任意一个压缩卷执行解压即可恢复原文件: rar/7z x 3. zip 3.1 分卷压缩 zip 分卷压缩与 rar/7z 有些许不同:...3.2 解压 zip 分卷压缩后会形成若干个 .zxx 文件和一个 .zip 文件,解压时需要根据该 .zip 文件来合并其他所有分卷为单个分卷,然后在利用 unzip 解压即可恢复原文件: zip -

4.2K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    python实现zip分卷压缩与解压

    1. python实现zip分卷压缩 WinHex 开始16进制一个一个文件对比 WinRar 创建的分卷压缩和单个 zip 文件的差异。...如果想把单个大文件 test.zip -> 分卷文件 test.z01、test.z02、test.zip 首先,在创建的第一个分卷文件 test.z01的前面加上 \x50\x4b\x07\x08 这个是分卷压缩的文件头...其实单个压缩文件本身 header 就有这个了,而分卷压缩的需要两个emmm。...之后便是从单个大压缩文件文件test.zip中读取 "一个分卷大小 -4 个字节"的数据,写入test.z01中,如何接着读取一个分卷大小的数据,写入test.z02,以此类推,最后一个分卷文件名也是test.zip...当然,使用 ByteIO 进行字节流的压缩,但是这种方式需要先把文件读入内存,对于超级大的文件,这是不现实的,分分钟内存爆炸 2.解压 解压.ZIP分卷文件(亲测可用)

    2.6K20

    Mac上如何解压分卷压缩的rar文件?

    使用分卷压缩后的rar文件,是下面这种形式: 以这种形式发过来也是有原因的。 主要原因是微信不支持超过1G的文件。 文件看到了,也下载完成,只是有一个意外:解压不了。...只能找找别的办法来mac上把这些分卷压缩的rar文件解压一下 MacZip解压不了分卷压缩的rar文件 文件看得到,但用不了。咋办? 下载RAR for Mac解决 微信上不支持发送4G的文件。...https://www.win-rar.com/rar-linux-mac.html 用的是x64, 选“RAR 7.01 for macOS x64 English 64 bit”,点击。...注意事项: 确保所有的分卷文件都在同一个目录下,并且文件名正确。 如果你的分卷文件名不是.part1.rar、.part2.rar等,你需要确保在命令中使用正确的文件名。...如果分卷文件损坏或不完整,unrar可能无法成功解压缩。 使用unrar命令行工具是一个快速且有效的方式来解压缩分卷压缩包,特别是当你需要在命令行环境中工作时。

    2.5K10

    Linux解压war包

    一.unzip 网上很多人说用jar包解压,但jar命令解压时不能指定目录,推荐使用unzip解压war包。...参  数: -c 将 解压缩的结果显示到屏幕上,并对字符做适当的转换。 -f 更 新现有的文件。 -l 显 示压缩文件内所包含的文件。...-p 与-c参数类似,会将解压缩的结果显示到屏幕上,但不会执行任 何的转换。 -t 检 查压缩文件是否正确。,但不解压。...-u 与-f参数类似,但是除了更新现有的文件外,也会将压缩文件中 的其他文件解压缩到目录中。 -v 执 行是时显示详细的信息。或查看压缩文件目录,但不解压。..../ -c 创建war包 -v 显示过程信息 -f -M -0 这个是阿拉伯数字,只打包不压缩的意思 解压war包 jar -xvf game.war 解压到当前目录

    12.9K10

    linux压缩解压命令

    ——————————————— .gz 解压1:gunzip FileName.gz 解压2:gzip -d FileName.gz 压缩:gzip FileName .tar.gz 和 .tgz 解压...DirName ——————————————— .bz 解压1:bzip2 -d FileName.bz 解压2:bunzip2 FileName.bz 压缩:未知 .tar.bz 解压:tar jxvf...gzip 是在 Linux 系统中经常使用的一个对文件进行压缩和解压缩的命令,既方便又好用。...语法:gzip [选项] 压缩(解压缩)的文件名该命令的各选项含义如下: -c 将输出写到标准输出上,并保留原有文件。-d 将压缩文件解压。...gzip -dv *% 把当前目录下每个压缩的文件解压,并列出详细的信息。gzip -l *% 详细显示例1中每个压缩的文件的信息,并不解压。

    10.1K20

    linux tar解压命令

    linux下使用tar命令 解压 语法:tar [主选项+辅选项] 文件或者目录 使用该命令时,主选项是必须要有的,它告诉tar要做什么事情,辅选项是辅助使用的,可以选用。...因为不可能同时压缩与解压缩。 辅助选项: -z :是否同时具有 gzip 的属性?亦即是否需要用 gzip 压缩或解压?...范例三:将 /tmp/etc.tar.gz 文件解压缩在 /usr/local/src 底下 [root@linux ~]# cd /usr/local/src [root@linux src]# tar...范例四:在 /tmp 底下,我只想要将 /tmp/etc.tar.gz 内的 etc/passwd 解开而已 [root@linux ~]# cd /tmp [root@linux tmp]# tar...使用tar命令解压缩后会出现以下情况:   $ tar -xvf file2.tar   $ ls   …… …… home …… ……   解压缩后的文件名不是想象中的file2,而是home/usr2

    14.8K60

    Linux下解压命令

    Linux下的压缩文件格式五花八门,因此相应的解压和压缩的工具也是五花八门,例如7z,gz2,bz2,rar,gizp, tar…… 希望看完这篇文章,你就不会觉得复杂了!...-x :解压缩文件 -t :查看压缩包里面的文件!...————————————————— 辅助参数: -z :用 gzip 压缩/解压缩 -j :用 bzip2 压缩/解压缩 -v :显示压缩/解压缩的进度条 -f :使用档名(注意:f后面不要接参数,也就是说...-zxfv是不对的,要写成-zxvf) ————————————————— 实例: 解压一个文件:tar -zxvf abc.tar.bz2 (解压缩abc.tar.bz2) 创建压缩文件:tar -zcvf.../rarlinux make && make install ————————————————— 实例解压:unrar e filesname.rar ————————————————— 7z格式的解压缩实例

    9.2K20

    linux下解压命令大全

    ——————————————— .gz 解压1:gunzip FileName.gz 解压2:gzip -d FileName.gz 压缩:gzip FileName .tar.gz 和 .tgz 解压...DirName ——————————————— .bz 解压1:bzip2 -d FileName.bz 解压2:bunzip2 FileName.bz 压缩:未知 .tar.bz 解压:tar jxvf...gzip 是在 Linux 系统中经常使用的一个对文件进行压缩和解压缩的命令,既方便又好用。...语法:gzip [选项] 压缩(解压缩)的文件名该命令的各选项含义如下: -c 将输出写到标准输出上,并保留原有文件。-d 将压缩文件解压。...gzip -dv *% 把当前目录下每个压缩的文件解压,并列出详细的信息。gzip -l *% 详细显示例1中每个压缩的文件的信息,并不解压。

    5.4K00

    linux文件压缩与解压

    压缩工具的介绍 说到文件管理,就不得不说到tar,因为tar可以压缩和解压缩linux文件,所以要先了解一下压缩和解压缩。...依然有用,只不过现在我们使用压缩工具的目的,更多的是便于存储和传输,在linux系统中压缩工具有很多,不同的工具压缩后的后缀名和大小都有差异,从远古时代说起,linux都出现了以下这些格式的压缩文件 *...已经不支持了,linux下的压缩工具还是以gzip和bzip2以及后加入的xz作为主力,但是由于这些工具,最早不能压缩目录,只能针对单一文件进行压缩,所以在日常使用中,他们都是配合着tar这个打包工具,...-C 解压到指定目录 -c 建立tar包 -t 查看tar包内的文件 -x 解压tar包 -p 不修改文件属性 -f 指定文件名称 -j 使用bzip2算法 -...下文件与文件夹的压缩与解压的基本使用我们就介绍到这里,那么你学会linux下对文件或文件夹压缩和解压缩了吗!

    6.9K20

    Linux 压缩,解压相关命令

    压缩、解压缩及归档工具 file-roller compress/uncompress: .Z gzip/gunzip: .gz bzip2/bunzip2: .bz2 xz/unxz: .xz zip...-d: 解压缩,相当于uncompress -c: 结果输出至标准输出,不删除原文件 -v: 显示详情 uncompress 解压缩 zcat file.Z >file gzip/gunzip...-d: 解压缩,相当于gunzip -c: 将压缩或解压缩的结果输出至标准输出 -#:1-9,指定压缩比,值越大压缩比越大 zcat:不显式解压缩的前提下查看文本文件内容 实例: gzip...-k: keep, 保留原文件 -d:解压缩 -#:1-9,压缩比,默认为9bzcat:不显式解压缩的前提下查看文本文件内容 xz/unxz/xzcat xz [OPTION]......-k: keep, 保留原文件 -d:解压缩 -#:1-9,压缩比,默认为6 xzcat: 不显式解压缩的前提下查看文本文件内容 zip/unzip 打包压缩 zip –r /testdir

    5K50
    领券