- 综合排序
- 最热优先
- 最新优先
- 来自专栏JAVA
SpringBoot超大文件上传（总结）
SpringBoot超大文件上传，秒传！分片上传!断电续传！ 2、本文实现的秒传核心逻辑 利用redis的set方法存放文件上传状态，其中key为文件上传的md5，value为是否上传完成的标志位。 2、分片上传的场景 大文件上传 网络环境环境不好，存在需要重传风险的场景 三. 2、应用场景 断点续传可以看成是分片上传的一个衍生，因此可以使用分片上传的场景，都可以使用断点续传。 finally { FileUtil.close(accessTmpFile); } return false; } } 2、
92410编辑于 2024-11-20 - 来自专栏罗西的思考
Facebook如何训练超大模型 --- (2)
[源码分析] Facebook如何训练超大模型 --- (2) 目录 [源码分析] Facebook如何训练超大模型 --- (2) 0x00 摘要 0x01 回顾 1.1 ZeRO 1.1.1 ZeRO -1 1.1.2 ZeRO-2 1.1.3 ZeRO-3 1.2 DDP VS FSDP 0x02 总体逻辑 2.1 FSDP 2.2 原始ZeRO 1.2.1 初始化 1.2.2 前向传播 1.2.3 Parameter sharding 之 ZeRO [论文翻译] 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型 1.1.2 ZeRO-2 ZeRO-2会分割Optimizer States与Gradients。 _param_name_groups = param_name_groups # 2.
2.2K30编辑于 2022-05-09 - 来自专栏javascript技术
如何对超大JS文件混淆加密？
有些时候，我们会有一些很大的JS文件代码需要混淆加密，例如： 这个3.4MB的JS文件，通常来说是不容易一次性完成混淆加密的。因为代码量太大。 因此，对这样量极的JS代码进行混淆加密，在线的JS加密工具，是不允许的，不接受这样大的文件，或需要高权限。 如果我们要处理这样大的文件，需要些技巧。 方法一、 这样大的文件，通常不是手写完成的，而是使用各种工具打包、编译生成的。比如可能是webpack将很多文件打包在了一起，或者可能是h5游戏引擎（cocos、白鹭，等等）编译而成。 只能处理这个大的JS文件。 处理方式，也不太复杂。以上面给出的文件为例。 首先，将JS代码格式化（上图中可见，文件是压缩成一行的，如果是未压缩的代码，则不必格式化）。 如果是企业级的应用，经常有这样处理大JS文件的需要，如此处理可能还是有些繁琐。更直接的方法是使用JShaman的本地部署，是不限文件大小的。
1.3K10编辑于 2023-07-20 - 来自专栏零域Blog
php 超大文件下载类 支持2g以上文件 支持断点续传
name=%CE%C4%BC%FE">文件传输，支持断点续传。 * 2g以上超大文件也有效 * @author MoXie */ class Transfer { ** * 缓冲单元 */ const BUFF_SIZE = 文件大小 * @var <String> php超大数字 <SPAN class=t_tag onclick=tagshow(event) href="tag.php? * type 1 * RANGE: bytes=1000-9999 * RANGE: bytes=2000-9999 * type <em>2</em> ,$this->range); $range = explode('-',substr($range,6)); if (count($range) < <em>2</em>
63230编辑于 2022-03-02 - 来自专栏用户6892318的专栏
求超大文件上传方案( Web )
支持文件批量上传 支持文件夹上传，且要求在服务端保留层级结构。文件夹数量要求支持到10W。 支持大文件断点续传，要求刷新浏览器，重启浏览器，重启电脑后仍然能够继续上传。 文件大小要求能够支持到20个G。 支持自动加载本地文件，要求能够自动加载指定的本地文件。 支持文件批量下载，要求不要在服务器打包。因为20G的文件在服务器打包时间比较长。 但无论插件再怎么灵活，也难以应付所有的需求，比如，你要上传一个2G的文件。以现在我们的网速，恐怕再快也得传半小时。 每次上传文件片前先获取已上传的文件大小，确定本次应切割的位置 每次上传完成后更新已上传文件大小的记录 标识客户端和服务端的文件，保证不会把A文件的内容追加到B文件上 在参考了张鑫旭大哥的这篇文章后， 根据已上传大小切割文件，发出n次请求不断向服务器提交文件片，服务端不断追加文件内容 当已上传文件大小达到文件总大小时，上传结束 首先是文件的分割，HTML5新增了Blob数据类型，并且提供了一个可以分割数据的方法
4.3K40发布于 2020-01-13 - 来自专栏用户6892318的专栏
求超大文件上传方案( SpringMVC )
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G级的单个文件上传和续传。 文件块处理逻辑 文件块保存逻辑如下 web.xml配置如下 整个项目的截图 依赖的JAR包如下 运行效果如下： 在此分享！ 在使用前需要配置一下数据库，可以参考我写的这篇文章：http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/
1.9K20发布于 2020-01-13 - 来自专栏葫芦
python 超大文件分析Thread seek
/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/9/16 上午2:00 # @Author : BrownWang # @Email /ipdb_cn.txt',mode='r') as f: for i in f: nn=i.split() tn= nn[2].decode /flowdata.log','r') tf.seek(0,2) total=tf.tell() filset=set() def run(start,end): with open('. heapq.nlargest(len(ret),ret,key=lambda s:s['v']) for i in sortl: print i['n'] + ' ' + str(round(i['v'],2)
67010发布于 2019-04-17 - 来自专栏大文件上传控件
求超大文件上传方案( WebUploader )
文件夹数据库处理逻辑 public class DbFolder { JSONObject root; public DbFolder() { this.root = new JSONObject null, btn: { del: null, cancel: null,post:null,stop:null }, div: null}; this.isFolder = false; //不是文件夹 FilePos: "0" , lenSvr: "0" , perSvr: "0%" , complete: false , deleted: false };//json obj，服务器文件信息 this.fileSvr = jQuery.extend(this.fileSvr, fileLoc); 2.可以获取路径 this.open_files = function (json) 在使用前需要配置一下数据库，可以参考我写的这篇文章：http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/
1K30发布于 2020-01-13 - 来自专栏全栈程序员必看
CSV超大文件查看器
免费下载地址: CSV查看器超大文本查看器(HkExcel)单文件绿色免安装-WindowsServer文档类资源-CSDN文库 几G的文件10多秒就可以打开了, 单文件绿色免安装的, 下载就可以直接使用
2.6K10编辑于 2022-09-16 - 来自专栏用户6892318的专栏
求超大文件上传方案( BS )
需求：项目要支持大文件上传功能，经过讨论，初步将文件上传大小控制在500M内，因此自己需要在项目中进行文件上传部分的调整和配置，自己将大小都以501M来进行限制。 关于Uploadify控件属性可以参考这篇文章也可以直接看官网文档： http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/ 属性名称 默认值 fileSizeLimit 0 上传文件的大小限制 ，如果为整数型则表示以KB为单位的大小，如果是字符串，则可以使用(B, KB, MB, or GB)为单位，比如’2MB’；如果设置为0则表示无限制 的大小为2000000，这个属性的单位是毫秒，换算之后大概是半个小时，我们配置缺省的maxPostSize属性的值，默认情况下它的值是2097152，它的单位是字节，也就是2M的大小，修改完保存即可 修改完服务器之后 以上需要注意的是maxPostSize属性在各个Tomcat版本中的不同，可以参考我写的这篇文章：http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载
1.8K20发布于 2020-01-13 - 来自专栏编程语言的世界
php curl 下载远程超大文件
php curl 下载远程超大文件 ，最近在下载视频中总结出来的。 $ch, CURLOPT_FOLLOWLOCATION, true); curl_exec($ch); curl_close($ch); fclose($fp);}优点是不占用内存，文件自动追加
1.4K20编辑于 2023-06-03 - 来自专栏强仔仔
超大CSV文件如何最快速度解析
背景：今天被人问到一个10G的超大CSV如何最快速度读取，并插入到数据库中。一般读取文件都是单线程一直往下读，但是如果文件特别大的情况下就会很慢。如何快速读取？ 从上图我们可以看出，操作系统里面包含文件系统，可以快速根据文件路径定位到文件具体位置，文件本身并非直接存储在磁盘上面的，一个文件由很多块组成，根据不同的文件系统，每一个块的默认大小也都不一样，比如在 Windows 系统下，默认的 NTFS 文件系统的文件块大小为 4KB。 多线程按块读取 获取文件的size，假如文件是10G，按照10线程，每一个线程负责1G范围的数据检索，例如线程1负责0指针位置的块，线程2负责1G指针位置块，到线程10负责9G指针位置块。 除了1线程，其它线程都从原本位置向前查找换行符，找到之后从当下位置开始，一直读取到2G位置的下一个换行符。这样就可以多线程快速的读取一个文件的数据，但是会有极少数数据的重复获取。
2.4K30编辑于 2023-04-03 - 来自专栏葫芦
python 超大文件分析map_async seek
/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/9/16 上午2:00 # @Author : BrownWang # @Email /ipdb_cn.txt',mode='r') as f: for i in f: nn=i.split() tn= nn[2].decode /flowdata.log','r') tf.seek(0,2) total=tf.tell() def run(arg): start=arg[0] end=arg[1] heapq.nlargest(len(ret),ret,key=lambda s:s['v']) for i in sortl: print i['n'] + ' ' + str(round(i['v'],2)
89120发布于 2019-04-17 - 来自专栏JackeyGao的博客
用户Python3解析超大的csv文件
用户Python3解析超大的csv文件 Posted August 15, 2016 我在日前获得一个任务，为了做分析, 从一个超大的csv文件中解析email地址和对应的日期时间戳然后插入到数据库中. 这个csv文件超过了2G, 200万条的数据. 起初, 我尝试用excel打开这个文件， 来查看数据 。不幸的是, 我的excel程序开始假死最后我不得不杀掉excel进程. ascii_record 注意: erros='replace' 参数, 该方案不能完美的解决问题, 当编码一个字符串出现问题, Python 提供了三种方法: 1. strict - 抛出一个致命的错误 2. 更锦上添花 我不太想用索引来获取数据, 就像下面一样， 一点都不pythonic Python # Example: email_row[0], email_row[1], email_row[2], ascii_email_record) 关于NamedTuples， 它属于标准库里面的, 可以访问这里查看文档 NamedTuples 总结 我们只是学习怎么让自己的电脑不死机, 然后友好的处理大的文件
1.6K20发布于 2018-08-02 - 来自专栏无限可能的程序开发
前端下载超大文件的完整方案
合并文件： 下载完成后，将所有分片文件合并成一个完整的文件。 ({url, fileName, chunkSize = 2 * 1024 * 1024, cb}) { this.url = url; this.fileName = fileName 已下载的文件怎么存储？ 浏览器的安全策略禁止网页（JS）直接访问和操作用户计算机上的文件系统。 在分片下载过程中，每个下载的文件块（chunk）都需要在客户端进行缓存或存储，方便实现断点续传功能，同时也方便后续将这些文件块合并成完整的文件。 这样可以确保在下载大文件时不会因为内存占用过多而导致性能问题。 在上面提供的示例代码中，文件块是暂时保存在一个数组中的，最终在mergeChunks()方法中将这些文件块合并成完整的文件。
1.8K10编辑于 2024-03-27 - 来自专栏用户5447549的专栏
TiDB Lightning导入超大型txt文件实践
其实数据在不同系统的流转当中，有一种格式是比较通用的，那就是txt/csv这类文件，把数据用约定好的分隔符换行符等标记存放在一起，比如最常见的逗号分隔： aa,11,a1 bb,22,b2 这个文件可以保存为 (parquet))$' # schema = '$1' # table = '$2' # type = '$3' 文件路由通过mydumper.files配置实现，它用正则定义了库名表名的解析规则。 其次schema和table变得更加灵活，除了直接从正则参数提取，还能加入我们想要的prefix，比如把文件都导入到以bak_开头的表中： table = 'bak_$2' 有了这个特性，就算你的数据文件不是库名 # max-region-size = "256MiB" # 默认值 2、手动切分文件 严格模式虽然好用，但是拆分逻辑在 Lightning 内部完成，我们无法知道具体拆分细节，如果出现数据问题就很难排查 10:05 golang_gen.txt 指标 参考值 测试机器 虚拟机4c8g ssd盘，local模式导入 原始文件大小 20G，2个字段，5亿行数据 直接导入 31m14s 严格模式 13m16s
1.9K10编辑于 2022-10-31 - 来自专栏全栈程序员必看
Snapde一个全新的CSV超大文件编辑软件
Snapde，一个专门为编辑超大型数据量CSV文件而设计的单机版电子表格软件；它在C++语言开发的Snapman多人协作电子表格内核基础上进行了重新设计，换用C语言重新开发内核，比Snapman的电子表格核心有了质的提升 Snapde安装包15.4m（主要python语言的文件占用空间），主程序非常轻巧启动超快；下面来一些大文件CSV测试其性能（1个三百多兆，1个一个G，1个3.53G）： 1、deputies_dataset.csv 文件，文件大小325.98m，3014903行10列（30149030个单元格） 打开截图： 打开时间花费：20秒 内存占用497.8M： 2、ft_train.csv文件，文件大小1.05G ，307512行903列（277683336个单元格） 打开截图： 打开时间花费：1分30秒 内存占用2.8G： 3、yelp_review.csv文件，文件大小3.53G，5261669行 10列（52616690个单元格） 打开截图： 打开时间花费：2分14秒 内存占用4.09G： CSV文件是一种文本文件，我们使用世界上最厉害的文本编辑器之一：64位的notepade++
6.5K30编辑于 2022-09-06 - 来自专栏全栈程序员必看
mysql 导入 csv 大文件怎么打开_mysql导入超大内存的csv文件
1.直接用命令 2.用分割器分割，再用导入 最后要commit，不然没有真的导入数据库中。 is running with the –secure-file-priv option so it cannot execute this statement 解决方法： 【我的做法】【必须SQL文件和数据表都要在指定目录中 【方法2】在my.ini中修改路径，secure_file_priv=‘你想要的路径’，—-可以从指定路径导入导出数据 【方法3】在my.ini中修改路径，secure_file_priv=
8.7K30编辑于 2022-09-16 - 来自专栏用户6093955的专栏
使用IDM从Google 云端硬盘链接上下载超大文件
1.将原始文件以快捷方式存放到自己的网盘中。 2.进入自己的网盘，找到存放好的目标文件快捷方式，点击右键，选择下载。 3.如果电脑上IDM且浏览器装有IDM插件，会弹出下载框，点击下载即可。 4.然后回到IDM主页面，发现会在任务列表中看到正在下载的文件。 5.单击然后右键其中一个任务，选择属性，便可以看到该任务的相关内容。 6.当下载不动时（传输速度为0），点击暂停键，然后重新进行第2步，通过该操作获取下载链接，之后取消刚刚新下载的这个任务，然后替换掉当前下载不动的文件的地址，最后再点击开始即可。
5.5K20编辑于 2023-02-26 - 来自专栏A周立SpringCloud
大文件上传服务器：支持超大文件HTTP断点续传的实现办法
网上也有大师采用分片文件上传方式来实现大文件上传，方法是将文件切成小片，例如4MB一个片段，服务器端每次接收一小片文件保存成一个临时文件，等待所有片段传输完毕后，再执行合并。 不能单循地依据文件名来查询文件上传记录，文件名的重复性很大，文件名 + 文件尺寸组成的值重复性缩小，如果再加上文件修改时间，则重复性进一步缩小，如果再加上一个浏览器的 ID可以进一步缩小重复性冲突。 基于上述理由，我的HASH值计算思路如下： 首先给浏览器赋予一个ID，这个ID保存在Cookie里； 浏览器的 ID+ 文件的修改时间 + 文件名 + 文件尺寸 的结果进行MD5来计算一个文件的HASH 三、执行上传 在查询完文件的断点续传信息后，如果文件确实以前已经上传，服务器将返回已经上传过的文件尺寸，我们接着从已经上传的文件尺寸位置开始上传数据即可。 也就是说，-1 指字符串的最后一个字符，-2 指倒数第二个字符，以此类推。 end 紧接着要抽取的片段的结尾的下标。若未指定此参数，则要提取的子串包括 start 到原字符串结尾的字符串。
2.3K10发布于 2021-07-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号