- 综合排序
- 最热优先
- 最新优先
- 来自专栏陈磊的专栏
Google Guetzli图片压缩算法预研报告
本文将通过比较libjpeg, Guetzli,webp的压缩率、压缩延时、压缩资源、解压性能，评估Guetzli可用性。 （此原理描述摘自文章《Guetzli：谷歌家的东西可能也没有想像的辣么美》） 压缩率 压缩率：描述压缩文件的效果名，是文件压缩后的大小与压缩前的大小之比 质量系数：图片压缩级别，质量系数1表示最低图像质量和最高的压缩 ，质量系数100表示最佳的图片质量和最低效的压缩。 优20%左右 guetzli在高质量系数下，压缩率表现更好 图片肉眼观察质量 对于相同质量系数压缩的图片，各算法肉眼是看不出区别 压缩延时 模型：这里假设业务需要转5档图，这里压缩延时计算模型是一张图片转换成业务需要的五档图的总延时 假设业务每天的图片入库量10000，上面的数据看到单核cpu处理一个图片均值60s，也就是一小时处理60个图片，10核处理600个图片，17个小时可以消化一天的量。
4K00发布于 2017-03-31 - 来自专栏Linux基础入门
（10）Linux压缩解压命令
：.gz PS：只能压缩文件不能压缩目录，并不能保存原文件 例1：将newfiles文件进行压缩，同时可以看到压缩前后文件大小变化 ? 功能描述：解压缩.gz的压缩文件 例1：将newfiles.gz解压缩 ? 例1：目录先打包再压缩，最终为.tar.gz格式 ? 例2：打包时同时压缩(常用） ? 例3：解压缩（常用） ? 例4：生成.tar.bz2的压缩包。PS：-xjf解压缩 ? ? 4. 例1：压缩文件还会人性化提示压缩比例 ? 例2：压缩目录 ? ? 5. bzip -k 产生压缩文件后保留原文件 功能描述:压缩文件 压缩后文件格式：.bz2 PS：相对于gzip可以保留原文件，并且压缩比非常惊人，一般压缩大文件推荐用这个 例1：压缩文件
2.7K10发布于 2020-08-26 - 来自专栏图与推荐
近期必读 ICLR 2021 【模型压缩】&【预训练】相关论文】
本期的关注焦点是【模型压缩】&【预训练】的7篇论文。点击文末“阅读原文”，获取正在接受盲审的论文列表。 模型压缩 Task-Agnostic and Adaptive-Size BERT Compression 本文的目标是通过压缩可以得到模型对不同大小和延迟的限制下的小模型；另外压缩后的模型是任务不可知 为了实现这个目标，本文使用的方法是基于NAS架构搜索的方法，由于待搜索的空间非常大，对于预训练任务难度较大，本文提供了3种策略来优化。 ? 解决预训练和精调的不匹配问题（精调时没有 MASK）。文中提出了两类策略，Disentangled Attention：增加计算 “位置-内容” 和 “内容-位置” 注意力。 在本文中，我们提出了K-PLUG，一种基于编解码转换器的知识注入的预训练语言模型，它既适用于自然语言理解任务，也适用于生成任务。
81650发布于 2020-11-10 - 来自专栏深度学习自然语言处理
近期必读 ICLR 2021 【模型压缩】&【预训练】相关论文】
模型压缩 Task-Agnostic and Adaptive-Size BERT Compression 本文的目标是通过压缩可以得到模型对不同大小和延迟的限制下的小模型；另外压缩后的模型是任务不可知 为了实现这个目标，本文使用的方法是基于NAS架构搜索的方法，由于待搜索的空间非常大，对于预训练任务难度较大，本文提供了3种策略来优化。 ? 解决预训练和精调的不匹配问题（精调时没有 MASK）。文中提出了两类策略，Disentangled Attention：增加计算 “位置-内容” 和 “内容-位置” 注意力。 在本文中，我们提出了K-PLUG，一种基于编解码转换器的知识注入的预训练语言模型，它既适用于自然语言理解任务，也适用于生成任务。 具体来说，我们提出了五个具有知识意识的自我监督的预训练目标，以实现特定领域的知识学习。 ? 论文链接：https://openreview.net/forum?
1.5K10发布于 2020-11-11 - 来自专栏CreateAMind
代码：lossless 压缩 10x faster VAE
paper1： [1] Anji Liu, Stephan Mandt and Guy Van den Broeck. Lossless Compression with Probabilistic Circuits, In International Conference on Learning Representations (ICLR), 2022.
43820编辑于 2022-11-22 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。对于（大型）神经网络，这可行，因为它们通常是过参数化的（即由冗余的计算单元组成）。 模型压缩的主要好处是降低推理成本。 三种压缩模型的方法 模型压缩有多种技术。这里我将重点介绍三种广泛使用的类别。 一种介于两者之间的方法是量化感知微调，它包括在量化后对预训练模型进行额外的训练。 剪枝 剪枝的目的是删除对模型性能影响较小的组件。这很有效，因为ML模型（尤其是大型模型）往往会学习到冗余和噪声结构。 示例代码：通过知识蒸馏和量化压缩文本分类器 在基本了解了各种压缩技术后，让我们看一个如何在Python中进行压缩的实际示例。
48510编辑于 2024-09-24 - 来自专栏深度学习自然语言处理
按照时间线帮你梳理10种预训练模型
用语言模型进行预训练 ? 这15%中，80%用[mask]替换，10%随机取一个词替换，10%不变。用非监督学习的方法预测这些词。 预训练不包含 NSP 任务。 「 10.ALBERT 」 ALBERT也是采用和BERT一样的Transformer的encoder结果，激活函数使用的也是GELU。 但ALBERT用了全新的参数共享机制，参数量相比BERT来说少了很多（小10倍+）。简单来说，就是：参数更少，效果更好。
2.4K52发布于 2020-09-22 - 来自专栏java开发的那点事
10-使用Gzip模块压缩Nginx返回的资源
使用Gzip压缩Nginx返回的资源 为了演示压缩, 我上传一个大一点的图 我找了一个523k的图, 重命名一下并上传到服务器 访问一下 535kb 接下来配置gzip压缩 # 开启gzip压缩功能 , 目的: 提高传输效率, 节约带宽 gzip on; # 限制最小压缩, 单位为字节, 小于1字节就不会压缩 gzip_min_length 1; # 压缩比 1-9 文件越大,压缩越多 gzip_comp_level 3; # 要压缩的文件类型 gzip_types text/plain application/javascript application/x-javascript text/css application 只压缩了1k, 好吧, 可能不适合压缩高清图 拿老师的CSS试一下 上传到linux 访问一下 确实压缩了, 压缩为60.4kb了, 源文件是322kb的, 看来应该是文件不同压缩效果也不同, emm
64820编辑于 2022-09-13 - 来自专栏韩曙亮的移动开发专栏
【Android 内存优化】Android 原生 API 图片压缩代码示例 ( PNG 格式压缩 | JPEG 格式压缩 | WEBP 格式压缩 | 动态权限申请 | Android10 存储策略 )
文章目录 一、 图片质量压缩 二、 图片尺寸压缩 三、 Android 10 文件访问 四、 完整源码示例 上一篇博客 【Android 内存优化】图片文件压缩 ( Android 原生 API 提供的图片压缩功能能 | 图片质量压缩 | 图片尺寸压缩 ) 简要介绍了 图片文件压缩格式 , 以及 Android 提供的图片质量 , 尺寸压缩 API , 本博客中使用该 API 进行图片压缩 ; 一、 图片质量压缩 ; bitmap = Bitmap.createScaledBitmap(bitmap, width, height, true); 三、 Android 10 文件访问 ---- 文件存储相关官方参考资料 Android 10 系统中动态申请权限 , 设置旧的存储访问策略 ( 该策略将在 Android 11 中无效 ) ; 这里简要介绍暂时性的解决方案 ; 1. true; } } return false; } 执行完上述三个步骤的操作 配置权限 设置旧存储策略 动态申请权限 即可在 Android 10
1.1K20编辑于 2023-03-27 - 来自专栏自然语言处理(NLP)论文速递
自然语言处理（NLP）10 大预训练模型
在此过程中，肯定有很多同学会用到或者学习NLP预训练模型，为此作者整理了目前2023年NLP的十大预训练模型及论文，模型效果不分先后。 后台回复：10大预训练模型 获取论文全文 1、BERT模型 BERT模型（Bidirectional Encoder Representations from Transformers）是由谷歌在 GPT-2是OpenAI 2018年GPT模型的“直接放大”，其参数计数和训练数据集的大小都增加了10倍。 BERT模型基于去噪自编码器的预训练模型可以很好地建模双向语境信息，性能优于基于自回归语言模型的预训练方法。 10、StructBERT StructBERT模型是一个预训练的语言模型，由阿里巴巴达摩院2019年提出的NLP预训练模型。
7.6K50编辑于 2023-03-06 - 来自专栏圆圆的算法笔记
ACL 2022 杰出论文：华为&港大提出SOTA预训练语言模型量化压缩方法
3 量化压缩在PLM中的问题 将以前在BERT上取得成功的量化压缩方法应用到预训练语言模型（PLM）上，会存在比较明显的效果下降。 下图是之前的PACT、LSQ等量化压缩方法随着压缩后的bit减少困惑度的变化。可以看到压缩到2-bit时出现非常明显的效果折损。 为什么之前的量化压缩方法应用到预训练语言模型上效果会这么差的？ 这些问题在预训练语言模型这种单向结构中更加严重，因为单向的学习会导致量化误差累计问题。 6 总结 本文以ACL 2022杰出论文——量化压缩预训练语言模型为出发点，首先介绍了经典的量化压缩方法，包括BinaryConnect、PACT等，又进一步介绍了在BERT上的量化压缩工作。 通过以上工作在预训语言模型上应用的不足，带大家理解了本文面临的难点和核心解法。
82710编辑于 2022-12-19 - 来自专栏VBA 学习
VBA解压缩ZIP文件10——解压-动态Huffman
使用动态Huffman压缩的数据块，在数据块的开头仍然是3个bit的Header，第2个bit是0、第3个bit是1，因为读取过程是先读取低位，再读取高位，所以结果应该是二进制10。 01 解析h3 Huffman树 接下来的压缩数据块的bit流分别是： HLIT：5比特，记录literal/length码树中码长序列（CL1）个数的一个变量。 02 解析h1、h2 Huffman树 得到了h3后，继续读取压缩数据块后面的bit流，并使用h3进行解码，得到SQ1，使用行程编码进行解析，得到CL1，然后创建h1（编码literal和length 继续读取压缩数据块后面的bit流，并使用h3进行解码，得到SQ2，使用行程编码进行解析，得到CL2，然后创建h2（编码distance）Huffman树。 'ZIP里的压缩算法称为Deflate算法 '对应的解压缩算法称为Inflate Private Function InflateByHuffman(h1 As CHuffmanTree, h2 As
1.1K10发布于 2020-08-04 - 来自专栏Java知识图谱
Nginx网络压缩 CSS压缩 图片压缩 JSON压缩
技术实现依托gzip压缩，仅仅在服务器与客户端网络传输时对静态资源进程压缩，文件的大小在压缩前与还原后保持不变。 gzip on; gzip_comp_level 5; gzip_min_length 10K; gzip_types application/javascript text/css; 2、动态资源 通过代理后端服务返回的 图片压缩分为两类：一是等比压缩；二是固定宽高压缩。根据应用场景的不同也分为两类：一是固定参数；二是动态参数。 此部分图片压缩后到达浏览器不会被还原。 (\d+)$ { image_filter resize $3 -; image_filter_buffer 10M; try_files /$1.$2 /default.png; root (\d+)x(\d+)$ { image_filter crop $3 $4; image_filter_buffer 10M; try_files /$1.$2 /default.png;
6.7K41编辑于 2022-02-08 - 来自专栏华章科技
元宇宙产业3年、10年、20年进化趋势预判
导读：元宇宙产业进化趋势是很多人关心的，本文通过产业大逻辑研究做一个趋势性的大胆预判。 作者：周掌柜 来源：大数据DT 总体上看，我们可以把元宇宙产业应用分为三种情况。 这三种情况是产业分析和预判的简单逻辑。 第一种，独立构建系统元宇宙商业模式的公司，Meta、腾讯、Roblox这种都属于超大型元宇宙实践。 在这个阶段，元宇宙理念的落地应用毫无悬念是VR和AR的应用，这两块已经有10多年的产业积累，产品体验更加成熟，技术上光学进步基本解决了眩晕感等问题。 02 未来10年看元宇宙社交和游戏 元宇宙新型设备的快速发展以及增量用户的进入，对于社交和游戏这两个拥有巨大存量用户的行业来说，是巨大利好。 元宇宙时代，社交和游戏应用都具备超大型平台的属性，并且整合了产业互联网的多种能力，以10年为周期来看成为元宇宙时代的中坚力量并无悬念。
50820编辑于 2022-06-07 - 来自专栏雪雁的专栏
Linux下查看压缩文件内容的 10 种方法
通常来说，我们查看归档或压缩文件的内容，需要先进行解压缩，然后再查看，比较麻烦。今天给大家介绍 10 不同方法，能够让你轻松地在未解压缩的情况下查看归档或压缩文件的内容。 从技术上讲，查看归档或压缩文件不提前进行解压是不可能的。本文介绍的方法中会将这些压缩文件在后台一个临时目录 /tmp 中进行解压缩。重启系统后，/tmp 目录的内容将被清空。 压缩 是一种将多个文件或文件夹组合成一个文件并进行压缩得到的结果文件。 归档文件不是压缩文件，但压缩文件可以是归档文件。明白了这两个概念之后，我们正式介绍如何在不解压的情况下查看压缩文件内容。 10.使用 less 命令 less 命令大家都可能有所了解了，它能以交互的方式查看文件内容。 不仅如此，它还可以用来查看归档/压缩文件的内容： $ less test.tar.gz 小结 上面简单介绍了 10 个不同的命令，可以使让你能够在不提取文件的前提下查看归档/压缩文件的内容，若你对其中某些命令感兴趣
13.8K11发布于 2019-11-07 - 来自专栏林德熙的博客
win10 uwp 修改图片质量压缩图片
，对比原图的文件大小和压缩之后的图片大小 var sourceFileProperties = await sourceFile.GetBasicPropertiesAsync( imageWriteAbleStream.Size; // 欢迎访问我博客 https://blog.lindexi.com/ 里面有大量 UWP WPF 博客 Debug.WriteLine($"压缩之后比压缩前的文件小 {fileSize - jpegImageSize}"); 这个压缩图片的方法的代码虽然看起来很多，但是看起来还是很简单先打开原来的图片文件对原图进行解密然后输出到新的文件 ///
/// 将原来的图片转换图片质量和压缩质量 /// /// <param name="sourceFile">原来的图片</param // 欢迎访问我博客 https://blog.lindexi.com/ 里面有大量 UWP WPF 博客 Debug.WriteLine($"压缩之后比压缩前的文件小88210编辑于 2022-08-04 - 来自专栏林德熙的博客
win10 uwp 修改图片质量压缩图片
，对比原图的文件大小和压缩之后的图片大小 var sourceFileProperties = await sourceFile.GetBasicPropertiesAsync( imageWriteAbleStream.Size; // 欢迎访问我博客 https://blog.lindexi.com/ 里面有大量 UWP WPF 博客 Debug.WriteLine($"压缩之后比压缩前的文件小 > /// 将原来的图片转换图片质量和压缩质量 /// /// <param name="sourceFile">原来的图片</param // 欢迎访问我博客 https://blog.lindexi.com/ 里面有大量 UWP WPF 博客 Debug.WriteLine($"压缩之后比压缩前的文件小 bitmap images - Windows UWP applications ---- 本文会经常更新，请阅读原文： https://lindexi.gitee.io/post/win10
1.3K31发布于 2019-04-09 - 来自专栏h5学习笔记
预解析
1.预解析的相关概念 JavaScript 代码是由浏览器中的 JavaScript 解析器来执行的。 JavaScript 解析器在运行 JavaScript 代码的时候分为两步：预解析和代码执行。 预解析会把变量和函数的声明在代码执行之前执行完成。 2. 变量预解析 预解析也叫做变量、函数提升。 变量提升（变量预解析）： 变量的声明会被提升到当前作用域的最上面，变量的赋值不会提升。 var num = 10; // ？ 结果：undefined 注意：**变量提升只提升声明，不提升赋值** 3. 函数预解析 函数提升： 函数的声明会被提升到当前作用域的最上面，但是不会调用函数。
96020发布于 2020-09-30 - 来自专栏韩曙亮的移动开发专栏
【JavaScript】预解析 ② ( 预解析示例分析 | 分步骤分析预解析过程 )
一、预解析示例分析一 1、要分析的代码 要分析的 代码示例 : <! ); var num = 888; } </script> </head> <body> </body> </html> 执行结果如下 : 2、代码预解析分析 console.log(num); var num = 888; } 分析上述代码 的 预解析过程 : 全局作用域 的 var num = 666; 变量 , 进行 预解析 , 提升该变量 到 全局作用域 顶部 , 提升后的效果如下 : // ★ 本步骤要点 var num; num = 666; fun(); function fun() { console.log(num); var num = 888; } 全局作用域 的 fun 函数 预解析
51810编辑于 2024-04-20 - 来自专栏AI科技大本营的专栏
让预训练语言模型读懂数字：超对称技术发布 10 亿参数 BigBang Transformer 金融大规模预训练语言模型
大模型构建量化投资新因子，BBT模型助力多因子策略开发 8.Benchmark 评测数据集：首个中文金融NLP评测数据集 9.开发者服务：向金融和非金融行业开发者开放API，构建BBT大模型开发者生态 10 .金融和经济领域的基石模型 ---- 超对称技术公司发布10亿参数金融预训练语言模型BigBang Transformer[乾元]。 超对称公司针对金融投资领域的应用设计和训练了一个大规模参数预训练语言模型Big Bang Transformer乾元(BBT)，目前发布了Base 版本2.2亿参数和Large 版本 10亿参数。 基于领域专业数据集预训练的大模型，比T5同级别参数模型平均下游任务准确率可以提高接近10%。 2. 不同下游任务的语料数据集比例对下游任务的准确度有影响。 3. base模型的参数量均为2.2亿，large模型的参数量为10亿。
1.2K40编辑于 2022-09-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号