- 综合排序
- 最热优先
- 最新优先
- 来自专栏罗西的思考
Facebook如何训练超大模型--- (5)
[源码分析] Facebook如何训练超大模型--- (5) 目录 [源码分析] Facebook如何训练超大模型--- (5) 0x00 摘要 0x01 背景 0x02 思路 2.1 学习建议 2.2 Parameter sharding 之 ZeRO [论文翻译] 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型 ---(1) [源码分析] Facebook如何训练超大模型 --- (2) [源码分析] Facebook如何训练超大模型 --- (3) [源码分析] Facebook如何训练超大模型---(4) x = torch.Tensor([[1,2,3]]) y = torch.Tensor([[4,5,6], [7,8,9], [10,11,12]]) z = torch.cat((x,y), dim ], [10., 11., 12.]]) torch.Size([4, 3]) # chunk之后的输出 (tensor([[1., 2., 3.]]), tensor([[4., 5.
1.6K10编辑于 2022-11-28 - 来自专栏JAVA
SpringBoot超大文件上传（总结）
SpringBoot超大文件上传，秒传！分片上传!断电续传！ 秒传 1、什么是秒传 通俗的说，你把要上传的东西上传，服务器会先做MD5校验，如果服务器上有一样的东西，它就直接给你个新地址，其实你下载的都是服务器上的同一个文件，想要不秒传，其实只要让MD5改变，就是对文件本身做一下修改 （改名字不行），例如一个文本文件，你多加几个字，MD5就变了，就不会秒传了。 2、本文实现的秒传核心逻辑 利用redis的set方法存放文件上传状态，其中key为文件上传的md5，value为是否上传完成的标志位。 如果标志位为false，则说明还没上传完成，此时需要在调用set的方法，保存块号文件记录的路径，其中key为上传文件md5加一个固定前缀，value为块号文件记录路径 二.
92410编辑于 2024-11-20 - 来自专栏javascript技术
如何对超大JS文件混淆加密？
有些时候，我们会有一些很大的JS文件代码需要混淆加密，例如： 这个3.4MB的JS文件，通常来说是不容易一次性完成混淆加密的。因为代码量太大。 因此，对这样量极的JS代码进行混淆加密，在线的JS加密工具，是不允许的，不接受这样大的文件，或需要高权限。 如果我们要处理这样大的文件，需要些技巧。 方法一、 这样大的文件，通常不是手写完成的，而是使用各种工具打包、编译生成的。比如可能是webpack将很多文件打包在了一起，或者可能是h5游戏引擎（cocos、白鹭，等等）编译而成。 只能处理这个大的JS文件。 处理方式，也不太复杂。以上面给出的文件为例。 首先，将JS代码格式化（上图中可见，文件是压缩成一行的，如果是未压缩的代码，则不必格式化）。 如果是企业级的应用，经常有这样处理大JS文件的需要，如此处理可能还是有些繁琐。更直接的方法是使用JShaman的本地部署，是不限文件大小的。
1.3K10编辑于 2023-07-20 - 来自专栏用户6892318的专栏
求超大文件上传方案( Web )
之前仿造uploadify写了一个HTML5版的文件上传插件，没看过的朋友可以点此先看一下~得到了不少朋友的好评，我自己也用在了项目中，不论是用户头像上传，还是各种媒体文件的上传，以及各种个性的业务需求 使用传统的表单提交文件或是HTML5的FormData都是将文件“整块”提交，服务端取到该文件后再进行转移、重命名等操作，因此，无法实时保存文件的已上传部分。 根据已上传大小切割文件，发出n次请求不断向服务器提交文件片，服务端不断追加文件内容 当已上传文件大小达到文件总大小时，上传结束 首先是文件的分割，HTML5新增了Blob数据类型，并且提供了一个可以分割数据的方法 ();//使选择文件按钮生效，不接收参数 5. %a0%e8%a7%a3%e5%86%b3%e6%96%b9%e6%a1%88/
4.3K40发布于 2020-01-13 - 来自专栏用户6892318的专栏
求超大文件上传方案( SpringMVC )
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G级的单个文件上传和续传。 文件块处理逻辑 文件块保存逻辑如下 web.xml配置如下 整个项目的截图 依赖的JAR包如下 运行效果如下： 在此分享！ 在使用前需要配置一下数据库，可以参考我写的这篇文章：http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/
1.9K20发布于 2020-01-13 - 来自专栏葫芦
python 超大文件分析Thread seek
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/9/16 上午2:00 # @Author : BrownWang # @Email : 277215243@qq.com # @File : Analysis.py # @Software: PyCharm import re import heapq import threading from multiprocessing import Pool dic={}
67010发布于 2019-04-17 - 来自专栏大文件上传控件
求超大文件上传方案( WebUploader )
文件夹数据库处理逻辑 public class DbFolder { JSONObject root; public DbFolder() { this.root = new JSONObject null, btn: { del: null, cancel: null,post:null,stop:null }, div: null}; this.isFolder = false; //不是文件夹 false , uid: 0 , nameLoc: "" , nameSvr: "" , pathLoc: "" , pathSvr: "" , pathRel: "" , md5: FilePos: "0" , lenSvr: "0" , perSvr: "0%" , complete: false , deleted: false };//json obj，服务器文件信息 在使用前需要配置一下数据库，可以参考我写的这篇文章：http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/
1K30发布于 2020-01-13 - 来自专栏全栈程序员必看
CSV超大文件查看器
免费下载地址: CSV查看器超大文本查看器(HkExcel)单文件绿色免安装-WindowsServer文档类资源-CSDN文库 几G的文件10多秒就可以打开了, 单文件绿色免安装的, 下载就可以直接使用
2.6K10编辑于 2022-09-16 - 来自专栏用户6892318的专栏
求超大文件上传方案( BS )
(msg); }; this.md5_complete = function (json) { this.fileSvr.md5 = json.md5; this.ui.msg.text("MD5计算完毕，开始连接服务器..."); this.event.md5Complete(this, json.md5);//biz event :0.8} 以上三个变量代表的含义是： uploadLimit：表示上传文件个数的限制，5表示文件上传个数限制是5个 fileSizeLimit：表示上传文件大小的限制，31744单位是KB，也就是表示 关于Uploadify控件属性可以参考这篇文章也可以直接看官网文档： http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/ 属性名称 默认值 以上需要注意的是maxPostSize属性在各个Tomcat版本中的不同，可以参考我写的这篇文章：http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载
1.8K20发布于 2020-01-13 - 来自专栏编程语言的世界
php curl 下载远程超大文件
php curl 下载远程超大文件 ，最近在下载视频中总结出来的。 $ch, CURLOPT_FOLLOWLOCATION, true); curl_exec($ch); curl_close($ch); fclose($fp);}优点是不占用内存，文件自动追加
1.4K20编辑于 2023-06-03 - 来自专栏强仔仔
超大CSV文件如何最快速度解析
背景：今天被人问到一个10G的超大CSV如何最快速度读取，并插入到数据库中。一般读取文件都是单线程一直往下读，但是如果文件特别大的情况下就会很慢。如何快速读取？ 从上图我们可以看出，操作系统里面包含文件系统，可以快速根据文件路径定位到文件具体位置，文件本身并非直接存储在磁盘上面的，一个文件由很多块组成，根据不同的文件系统，每一个块的默认大小也都不一样，比如在 Windows 系统下，默认的 NTFS 文件系统的文件块大小为 4KB。 大转小后多线程读取 将大文件拆分为一个个小文件，然后多线程去读取各个小文件，这样速度会比读取一个大文件快很多，而且读取的程序也比较简单。 例如linux提供了split命令，可以按照行和字节进行拆分。 因为线程再多，最大的读取速度也受限于：文件所在机器的IO、应用机器和文件所在机器的网络、应用机器的IO这几方面，可以继续在这几方面优化。看似简单大文件读取操作，却涉及底层文件系统。
2.4K30编辑于 2023-04-03 - 来自专栏葫芦
python 超大文件分析map_async seek
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/9/16 上午2:00 # @Author : BrownWang # @Email : 277215243@qq.com # @File : Analysis.py # @Software: PyCharm import re import heapq import threading from multiprocessing import Pool dic={}
89120发布于 2019-04-17 - 来自专栏JackeyGao的博客
用户Python3解析超大的csv文件
用户Python3解析超大的csv文件 Posted August 15, 2016 我在日前获得一个任务，为了做分析, 从一个超大的csv文件中解析email地址和对应的日期时间戳然后插入到数据库中. 这个csv文件超过了2G, 200万条的数据. 起初, 我尝试用excel打开这个文件， 来查看数据 。不幸的是, 我的excel程序开始假死最后我不得不杀掉excel进程. ascii_email_record) 关于NamedTuples， 它属于标准库里面的, 可以访问这里查看文档 NamedTuples 总结 我们只是学习怎么让自己的电脑不死机, 然后友好的处理大的文件
1.6K20发布于 2018-08-02 - 来自专栏无限可能的程序开发
前端下载超大文件的完整方案
合并文件： 下载完成后，将所有分片文件合并成一个完整的文件。 已下载的文件怎么存储？ 浏览器的安全策略禁止网页（JS）直接访问和操作用户计算机上的文件系统。 在分片下载过程中，每个下载的文件块（chunk）都需要在客户端进行缓存或存储，方便实现断点续传功能，同时也方便后续将这些文件块合并成完整的文件。 这样可以确保在下载大文件时不会因为内存占用过多而导致性能问题。 在上面提供的示例代码中，文件块是暂时保存在一个数组中的，最终在mergeChunks()方法中将这些文件块合并成完整的文件。 如果你希望将文件块保存在本地存储中，可以根据需要修改代码，将文件块保存到 IndexedDB 或 LocalStorage 中。
1.8K10编辑于 2024-03-27 - 来自专栏用户5447549的专栏
TiDB Lightning导入超大型txt文件实践
csv本身就是逗号分隔符文件，但是由于逗号太常见了很容易和真实数据混淆，往往会用比较复杂的字符作为分隔符，这时候txt文件就更灵活一些。 Lightning 导入简单的txt文件 虽然官网文档明确表示 TiDB Lightning 支持以下文件类型： Dumpling 生成的文件 CSV 文件 Amazon Aurora 生成的 Apache 大文件导入优化 Lightning 的最佳工作模式是处理大量的小文件，官网给出的建议值是单个数据文件不超过256M，经过实测发现，默认情况下 Lightning 对大文件的处理确实不够理想，风险包括： 10:05 golang_gen.txt 指标 参考值 测试机器 虚拟机4c8g ssd盘，local模式导入 原始文件大小 20G，2个字段，5亿行数据 直接导入 31m14s 严格模式 13m16s 虽然全篇都在以txt文件作为演示，但csv文件也同样适用前面描述的几种处理方式。 最后，希望本文能帮助到正在受大文件导入折磨的小伙伴们~
1.9K10编辑于 2022-10-31 - 来自专栏全栈程序员必看
Snapde一个全新的CSV超大文件编辑软件
Snapde，一个专门为编辑超大型数据量CSV文件而设计的单机版电子表格软件；它在C++语言开发的Snapman多人协作电子表格内核基础上进行了重新设计，换用C语言重新开发内核，比Snapman的电子表格核心有了质的提升 ，支持编辑数据从原来的的15兆CSV提升到了2.5G，原来编辑5万行就会很卡的，现在编辑一两千万行都不会卡。 文件，文件大小325.98m，3014903行10列（30149030个单元格） 打开截图： 打开时间花费：20秒 内存占用497.8M： 2、ft_train.csv文件，文件大小1.05G ，307512行903列（277683336个单元格） 打开截图： 打开时间花费：1分30秒 内存占用2.8G： 3、yelp_review.csv文件，文件大小3.53G，5261669行 10列（52616690个单元格） 打开截图： 打开时间花费：2分14秒 内存占用4.09G： CSV文件是一种文本文件，我们使用世界上最厉害的文本编辑器之一：64位的notepade++
6.5K30编辑于 2022-09-06 - 来自专栏全栈程序员必看
mysql 导入 csv 大文件怎么打开_mysql导入超大内存的csv文件
is running with the –secure-file-priv option so it cannot execute this statement 解决方法： 【我的做法】【必须SQL文件和数据表都要在指定目录中
8.7K30编辑于 2022-09-16 - 来自专栏用户6093955的专栏
使用IDM从Google 云端硬盘链接上下载超大文件
1.将原始文件以快捷方式存放到自己的网盘中。 2.进入自己的网盘，找到存放好的目标文件快捷方式，点击右键，选择下载。 3.如果电脑上IDM且浏览器装有IDM插件，会弹出下载框，点击下载即可。 4.然后回到IDM主页面，发现会在任务列表中看到正在下载的文件。 5.单击然后右键其中一个任务，选择属性，便可以看到该任务的相关内容。 6.当下载不动时（传输速度为0），点击暂停键，然后重新进行第2步，通过该操作获取下载链接，之后取消刚刚新下载的这个任务，然后替换掉当前下载不动的文件的地址，最后再点击开始即可。
5.5K20编辑于 2023-02-26 - 来自专栏A周立SpringCloud
大文件上传服务器：支持超大文件HTTP断点续传的实现办法
最好的HASH值的计算方法是用文件的内容进行MD5计算，但计算量极大（其实也没有必要这么做），过多的耗时会影响上传的体验。 基于上述理由，我的HASH值计算思路如下： 首先给浏览器赋予一个ID，这个ID保存在Cookie里； 浏览器的 ID+ 文件的修改时间 + 文件名 + 文件尺寸 的结果进行MD5来计算一个文件的HASH 2.10.0/js/md5.min.js var fileid = md5(info); return fileid; } 笔者认为：不必通过读取文件的内容来计算HASH值，这样会非常慢的 html5的File对象的 slice 可以用于从文件切取片段来上传。 定义和用法 slice() 方法可提取字文件的某个部分，并以新的字符串返回被提取的部分。 实现分片文件上传的代码如下： /* 文件上传处理代码 fileObj : html5 File 对象 start_offset: 上传的数据相对于文件头的起始位置 fileid: 文件的ID，这个是上面的
2.3K10发布于 2021-07-06 - 来自专栏零域Blog
php 超大文件下载类 支持2g以上文件 支持断点续传
name=%CE%C4%BC%FE">文件传输，支持断点续传。 * 2g以上超大文件也有效 * @author MoXie */ class Transfer { ** * 缓冲单元 */ const BUFF_SIZE = 5120; / 1024 * 5 ** * 文件地址 * @var <String> */ private $filePath; ** * 文件大小 * @var <String> php超大数字 <SPAN class=t_tag onclick=tagshow(event) href="tag.php? GMT'; $etag = sprintf('w/"%s:%s"',md5($lastModified),$this->fileSize); $ranges
63230编辑于 2022-03-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号