首页
学习
活动
专区
圈层
工具
发布

大数据压缩处理:数据分卷压缩和分卷压缩解压

最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小 公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN, 但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题...10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G 然后再通过VPN上传到服务器就相对容易能保证数据的完整性 二、数据分卷压缩 1、右键点击文件,选择“添加到压缩文件” ?...2、压缩文件格式选择“7Z”,压缩分卷大小这里选择了1G ? ?  压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G ? ?...三、分卷压缩解压 分卷压缩文件只需要解压第一个文件,软件会自动识别压缩文件全部解压 需要注意的是每个分卷文件都缺一不可,并且在同一文件夹下,否则会解压失败 windows解压只需要右键点击第一个文件解压就可以全部解压...linux解压7z文件需要先安装解压工具 yum -y install p7zip 解压命令 7za x filename.7z.001

3.5K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Linux 查看系统进程

    本文记录Linux查看系统进程相关命令。...简介 进程是运行的程序在系统中的存在形式,通过查看进程的状态信息,我们可以了解进程占用的系统资源情况,对系统的运行状态进行分析、调整,从而让系统保持在一个平稳的状态下运行。...Linux中查看进程信息的基本命令有ps、top,其中ps(Process Status)查看的是进程信息的一个快照,显示的我们执行ps这个命令时进程的信息,top显示的是进程的动态信息,使用这个命令会看到进程信息的动态变化...查看进程 查看本次登录进程 ps -l 查看内存中所有进程 ps -aux 进程一般很多,如果需要查看指定进程 ps -aux | grep *** 动态信息 top 命令可以查看进程和系统资源实时利用率...命令 描述 ps -l 列出与本次登录有关的进程信息 ps -aux 查询内存中进程信息 ps -aux | grep *** 查询***进程的详细信息 top / htop 查看内存中进程的动态信息

    20K40

    【Linux】查看系统信息

    Linux作为一款自由、开源的操作系统,以其稳定性和灵活性而备受青睐。了解系统的状态对于系统管理员、开发人员以及普通用户都是至关重要的。...在本文中,我们将探讨一些在Linux系统中查看系统信息的方法,帮助你更好地管理和了解你的系统。 1. uname命令 uname命令是一个简单而有效的工具,用于显示系统相关信息。...uname -r # 查看内核版本 uname -m # 查看系统架构 uname -o # 查看操作系统名称 2. lsb_release命令 lsb_release命令用于显示Linux.../etc/os-release文件 Linux系统中的/etc/os-release文件包含了系统的发行版信息。通过查看这个文件,你可以获取更为详细的系统信息。...希望本文的内容能够帮助你更好地利用Linux系统管理工具,提高工作效率。在使用这些命令时,请根据具体的需求选择合适的命令和参数,以便更精准地获取所需的信息。

    7.3K10

    Linux查看日志方法

    日志在排查文件的时候至关重要,因为Linux系统在运行的程序通常会把一些系统消息和错误消息写入对应的系统日志中。...若是一旦出现问题,用户就可以通过查看日志来迅速定位,及时解决故障,所以学会查看日志文件也是在日常维护中很重要的操作。Linux系统日志的三种类型1、内核及系统日志。...这种日志数据用于记录Linux操作系统用户登录及退出系统的相关信息,包括用户名、登录的终端、登录时间、来源主机、正在使用的进程操作等。3、程序日志。...使用该命令,系统管理员可以查看当前系统存在哪些不合法用户,从而对其进行审计和处理。who的默认输出包括用户名、终端类型、登录日期及远程主机。...通过last命令可以及时掌握Linux主机的登录情况,若发现未经授权的用户登录过,则表示当前主机可能已被入侵。

    11.9K110
    领券