- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据计算
数据外置提速革命：轻量级开源SPL如何用文件存储实现MPP级性能？
传统数据库，特别是交易（TP）数据库，用于分析型计算经常会出现性能问题。TP数据库的性能优化主要是提高事务处理和写操作（增删改）的效率，这和分析型计算的优化方向并不一致，也就很难让分析计算跑的快。 常见的解决办法是把历史数据从TP数据库搬到专业OLAP数据仓库中计算。不过，OLAP数据仓库太沉重，经常需要集群，硬件成本较高，还可能有昂贵的授权费用，更重要的是，整个技术架构也变得非常复杂。 实现数据外置提速的同时，也不会让系统架构变得很复杂：轻量的SPL，计算能力却非常强大，在列式存储、数据压缩、多线程并行等方面都做了深度优化，能让条件过滤、分组汇总这些常规运算的性能大幅提升，完全不输于专业的 SPL常规计算与MYSQL对比（单位：秒）注：测试环境和方法参见 《如何用esProc将数据库表转储提速查询》SPL代码也很简单，比如大订单表的过滤和分组汇总：专业OLAP数据仓库利用列存压缩等技术能让常规运算中跑出较高性能 同时，SPL代码仍很简单：6月6日有现场讲解用SPL实现外置提速的免费培训：课程涉及的实例都是传统数据库很头疼的老大难问题，比如COUNT DISTINCT，外键JOIN，大主子表关联（包括EXISTS
23910编辑于 2025-05-23 - 来自专栏凉城
不借用外置设备---破解windows 10开机密码
现在说说破解windows 10的开机密码，我们同样是采用调用“粘滞键”的方法进行破解，windows 10和windows 7破解起来多少还是有点不同，而最大的不同就是windows 10用户可能是用微软用户登陆的 继续等待大概10分钟后会出现如图界面，我们点击左下方的“详细信息”，下拉右边的滚动条到最下，点击最下方的“隐私声明”： ?
11.4K30发布于 2018-05-25 - 来自专栏星汉技术
Hive应用：数据外置内部表 原
示例 先创建HDFS目录/data/person，将数据文件上传到此目录之下。 0 6.0 刘备 40.0 男 成都 0 7.0 小李 29.0 男 江南 0 Time taken: 0.141 seconds, Fetched: 7 row(s) hive> 此时就创建了一个数据外置的内部表 ，这个表也允许先有数据，上面展示的数据，就是证明了这一点，完美展示了数据外置的内部表。 然而如果删除Hive中的这个表的话，数据也会跟着被删除。 下图是数据存放的目录： ? 在看一下test数据库目录： ? 没有person表的目录。 总结 所以综上所述，这种内部表有普通外部表的先有数据的特性，还具有普通内部表删除表数据也同时删除的特性。那么如果这个表也是内部表的话，那么内部表和外部表的区别在哪里？
60320发布于 2019-03-13 - 来自专栏鳄鱼儿的技术分享
Docker 安装 Redis 并外置数据文件
前言 Redis是一个开源的内存型数据库，也被称为数据结构服务器nosql。它是一种高性能、非关系型数据库，通常用于缓存和快速存储键值对数据，也可以支持多种复杂的数据结构。 将配置文件和数据文件映射到外部 创建存放redis数据的文件夹 mkdir -p ~/i/apps/redis/{conf,data} 下载配置文件 下载redis配置文件，这里是redis的默认配置 该参数后data映射是将主机上的数据目录 ~/i/apps/redis/data 映射到容器内部的 /data 目录。这样可以将 Redis 数据持久化到主机文件系统，即数据在容器销毁后仍可以保留。 name myredis redis redis-server /usr/local/etc/redis/redis.conf 脚本启动 为了方便启动redis，这里我写了一个启动脚本，该脚本仅映射了数据文件的
54810编辑于 2024-05-21 - 来自专栏数据大宇宙
python数据分析专用数据库，与pandas结合，10倍提速+极致体验
我知道许多小伙伴已经知道一些库也可以做到这种体验，不过他们的性能太差劲了(基于sqlite，或其他服务端数据库)。 今天我要介绍另一个专用于数据分析的列式数据库，性能是其他同体验的库的1000倍以上。 特点 duckdb 是一个单机数据库，你大概率会用它与 sqlite 比较。 最明显的区别就是，duckdb 是一个分析数据管理系统，而 sqlite 是一个事务型关系数据库。 这意味着，如果你现在有一大堆数据处理任务，期间无须顾忌会有其他用户插入新数据或删除数据。那么 duckdb 就可以非常好应对这种场景。 首先，导入今天需要用到的库 我们有一大堆销售数据，加载其中一份数据看看： 此时，希望使用 sql 做一些数据查询处理，你认为下面的 sql 简单吗？ 我知道之前就有其他的库可以做到这种体验，但是必需强调，duckdb 是直接使用 dataframe 的内存数据(因为底层数据格式通用)，因此，这个过程中的输入和输出数据的传输时间几乎可以忽略不计。
3.5K71编辑于 2023-09-01 - 来自专栏wordpress建站吧
WordPress网站访问慢，盘点提速优化技巧(一)：优化提速Gravatar头像加载(10W+)
Gravatar默认服务器 3、如果测试没有生效，需要检查你的wordpress主题是否自带了这个功能，或者是替换成了其他的镜像，但是速度不好，这个时候最好是去关闭掉我们的主题自带的Gravatar头像提速的功能 需要网站速度提速优化可以联系我！
1.1K40发布于 2021-08-06 - 来自专栏深度学习与python
Apache Doris 助力中国联通万亿日志数据分析提速 10 倍
从业务的角度来看，该架构数据流的痛点问题在于数据实时性不足，主要受限于 Hive 的离线批处理模式，端到端的延迟最短竟然需要 10 分钟。 新架构的应用实践 日增百亿数据，稳定快速导入 数据分析平台平均每天有 150 亿的业务日志数据新增，面对如此大规模的数据量，我们需要考虑如何将数据快速实时稳定入库。 在建表时指定压缩方法为 ZSTD，特别是对数据量超过 T 级别的数据表，这种压缩方法可以有效地减少数据占用的存储空间，数据压缩比最高可达 1:10。 数据规模分级查询，查询速度提升 10+ 倍 日志中包含了许多对分析及时性要求非常高的数据，例如异常事件、故障信息等，因此为了保障日志数据的查询效率，我们以数据量的级别为基准采用了不同的查询策略： 对于 业务线整体响应时间可在秒级或毫秒级别完成，甚至可以在 1-2s 内完成对 20 亿条数据的查询，查询速度较之前提升了 10+ 倍。
83520编辑于 2023-09-08 - 来自专栏Apache Doris
Apache Doris 助力中国联通万亿日志数据分析提速 10 倍
从业务的角度来看，该架构数据流的痛点问题在于数据实时性不足，主要受限于 Hive 的离线批处理模式，端到端的延迟最短竟然需要 10 分钟。 新架构的应用实践日增百亿数据，稳定快速导入数据分析平台平均每天有 150 亿的业务日志数据新增，面对如此大规模的数据量，我们需要考虑如何将数据快速实时稳定入库。 在建表时指定压缩方法为 ZSTD，特别是对数据量超过 T 级别的数据表，这种压缩方法可以有效地减少数据占用的存储空间，数据压缩比最高可达 1:10。 数据规模分级查询，查询速度提升 10+ 倍日志中包含了许多对分析及时性要求非常高的数据，例如异常事件、故障信息等，因此为了保障日志数据的查询效率，我们以数据量的级别为基准采用了不同的查询策略：对于 100G 业务线整体响应时间可在秒级或毫秒级别完成，甚至可以在 1-2s 内完成对 20 亿条数据的查询，查询速度较之前提升了 10+ 倍。
94930编辑于 2023-08-16 - 来自专栏我和bug只能活一个
这些方法让你的ChatGPT API提速10倍！
优化请求数据：减少发送到 API 的数据量可以减少响应时间。您可以尝试缩短请求的文本长度或优化请求参数。 流式读取返回数据：解决返回数据量大的问题 现在巨多企业在用流式读取解决应用交互问题，大家一定要了解，当我们使用ChatGPT API来生成文本时，API的响应可能非常大，这可能会导致应用程序在处理响应时出现延迟或内存问题 为了解决这个问题，我们可以使用流式读取来逐块处理API响应数据，这可以提高应用程序的响应速度，同时减少内存使用。 流式读取的工作原理是，它允许我们在响应数据到达之前逐步处理响应。 这意味着我们可以在数据到达之前逐步处理响应，而不是等待所有数据都可用之后再处理它。在这种情况下，我们可以使用HTTP分块编码，将响应数据分成多个块发送，而不是将整个响应数据一次性发送回给应用程序。 但是这种方式也明显有弊端，就是依赖前端的读取数据的方式，如果客户端不支持流失读取，那么也无法使用， 比如将ChatGpt接入到各大第三方平台，因为第三方平台的客户端都不是流式读取的，所以用这种方式就行不通了
5.5K60编辑于 2023-07-15 - 来自专栏wordpress建站吧
WordPress网站访问慢，盘点提速优化技巧(一)：优化提速Gravatar头像加载(价值10W)
Gravatar默认服务器 3、如果测试没有生效，需要检查你的wordpress主题是否自带了这个功能，或者是替换成了其他的镜像，但是速度不好，这个时候最好是去关闭掉我们的主题自带的Gravatar头像提速的功能 需要网站速度提速优化可以联系我！
99530编辑于 2021-12-10 - 来自专栏bisal的个人杂货铺
查询提速10倍的SQL性能优化场景方案介绍
仅一行SQL，查询时间提速10倍！》通过不同的方案，讲解一个常见场景的优化，而且有些设计思路可以借鉴到实际的应用系统设计中，让其性能水准得到充分发挥。
14810编辑于 2025-11-12 用 PHP TrueAsync 实现 PHP 脚本提速 10 倍
用PHPTrueAsync实现PHP脚本提速10倍多年来，开发者们在任务并行化方面有过多种实践。最早的尝试基于pcntl_fork和posix_kill，但这种方式在Windows上无法运行。 Channel是一个队列，用于在协程间交换数据。Channel中的每条消息可以是一个任务。协程从同一个Channel读取并执行任务。 展开代码语言：PHPAI代码解释$taskQueue=newAsync\Channel(10);for($i=0;$i<10;$i++){spawn(run_worker(...) 这种方式让主进程快速把大任务拆分成部分，无需通过管道泵送真实数据。添加另一个Channel用于结果，在单独的协程中处理。 用PHPTrueAsync实现PHP脚本提速10倍
12710编辑于 2026-03-17- 来自专栏【腾讯云开发者】
代码10倍提速！吃透底层架构就是如此简单
本文作者通过优化腾讯文档业务里的相关实现，将高频调用场景性能优化到原来的十倍，使文档核心指标耗时实现 10~15% 的下降，与此同时内存的增加仍细微到可忽略不计。 L22 其实就是在判断入参是不是 SMI，具体来说是 [rbx+0xf] 与 0x1 做按位与操作（[rbx+0xf] 是通过栈传递的参数，是 v8 里 js 的调用约定）如果结果是 0 则跳转 0x10b7cc34f 在这些优化技术的加持上，safari jscore 某些情况下甚至会比 chrome v8 还要快： 10高性能 JS 编写建议 大部分业务场景里更关心可维护性，性能不是最重要的，另外就是面向引擎/底层优化逻辑写的
1.3K22编辑于 2024-09-26 - 来自专栏算法channel
揭秘Numpy「高效使用哲学」，数值计算再提速10倍！
它基于Python，提供远高于Python的高性能向量、矩阵和更高维度的数据结构。之所以性能高是由于它在密集型计算任务中，向量化操作是用C和Fortran代码实现。 numpy数组，例如：arange, linspace等，从文件中读入数据，从python的lists等都能生成新的向量和矩阵数组。 使用ndarray.dtype, 我们能看到一个数组内元素的类型： In [9]: m.dtype Out[9]: dtype('int32') 如果我们尝试用str类型赋值给m，会报错： In [10 -------- ValueError Traceback (most recent call last) <ipython-input-10 -8d5580112ac6> in <module> ----> 1 m[0,0]='hello' ValueError: invalid literal for int() with base 10
75410发布于 2019-11-14 - 来自专栏reizhi
安装Google插件Chrome Frame后IE8提速10倍
ZDnet和ComputerWorld分别进行了测试，不过测试结果大同小异，在Sunspider JavaScript基准测试中，安装Chrome Frame后IE8的速度相比未安装该插件的IE8快10 IE7和IE8、Chrome 3进行了Sunspider JavaScript基准测试，根据测试结果，安装Chrome Frame后的IE7速度提升了近40倍，安装该插件的IE8速度提升了10
1.1K30编辑于 2022-09-26 - 来自专栏大数据在线
释放数据潜力，HCSF为AI应用提速
“五年前，我们很多行业客户的数据还是以ERP、CRM等数据为主，10TB就属于很大的数据量；今天，这些客户积累的数据量通常达到PB级，像行为数据等非结构化数据增长极为迅速，业务形态也发生了巨大变化，基于海量数据的 02 数据不该成为AI拦路虎 在了解AI应用带来的数据挑战之前，我们需要清楚AI应用场景会产生什么样的数据、这些数据具有什么特点、AI应用对于数据存储都会有哪些要求。 具体到AI应用的环境，首先数据需要进行准备和清洗，将原始数据去重、去除格式错误、去除错误数据和启发式回填，将数据转换为机器学习模型所需要的格式，这个处理阶段通常具有典型I/O极其密集的特征，需要数据缓存基础设施实时执行 03 HCSF：为AI应用提速 事实上，如果仔细分析AI应用涉及到的数据采集、整合、传输、存储、管理和应用，会发现当前很多企业往往是通过选择不同架构的数据存储产品来满足需求，造成在性能、可扩展性和易用性之间妥协 其次，Hitachi Content Software for File为整个数据管理提供单一平台，实现了基于元数据的数据管理自动化和智能化，实现跨越边缘、核心和云的数据管理，消除数据孤岛和多副本情况，
65740发布于 2021-10-13 - 来自专栏量子位
用上Pytorch Lightning的这六招，深度学习pipeline提速10倍！
而就在最近，一个国外小哥就提出了一种建议： 在Pytorch lightning基础上，让深度学习pipeline速度提升10倍！ 用他自己的话来说就是——“爬楼时像给了你一个电梯”。 尤其是随着数据集规模和机器学习模型，变得越发庞大和复杂，让实验变得既费时又耗力。 提速这件事，就变得至关重要。 例如在2012年的时候，训练一个AlexNet，要花上5到6天的时间。 一个典型的数据pipeline包含以下步骤： 从磁盘加载数据 在运行过程中创建随机增强 将每个样本分批整理 在这个过程中，倒是可以用多个CPU进程并行加载数据来优化。 具体来说，就是当验证损失在预设的评估次数（在小哥的例子中是10次评估）后停止训练。 这样一来，不仅防止了过拟合的现象，而且还可以在几十个 epoch内找到最佳模型。 https://devblog.pytorchlightning.ai/how-we-used-pytorch-lightning-to-make-our-deep-learning-pipeline-10x-faster
95920编辑于 2023-03-01 - 来自专栏全栈程序员必看
Win10这样设置，电脑瞬间提速5倍，多用几年无压力
一、Cortana功能 Cortana是win10系统的语音小助手，其实大部分的语音助手在平时用处都有不大的，建议关闭。
2.8K20编辑于 2022-06-28 - 来自专栏应用计算
SPL轻量级文件存储提速查询实践
传统交易（TP）数据库不擅长分析计算，而专业 OLAP 数据库又过于沉重，经常需要集群，不仅成本高昂，也会使系统架构变得更复杂。 esProc SPL 很轻，直接嵌入应用就可以运行，在实现数据外置提速的同时，也不会让整个系统架构变得很复杂：这里准备了一套使用 SPL 外置数据提速查询的实践方法：第一篇 - 常规过滤及分组汇总第二篇 乾学院有例子数据 csv 文件和建表 SQL，模拟某公司线下订单和电子商务的部分数据。需要在 MYSQL 数据库中建表，并导入 csv 数据。 customer，存储线下客户数据，数据量较小：城市表 city，存储线下客户所在城市数据，数据量较小：州表 state，存储线下客户所在州数据，数据量较小：运货商表 shipper，存储线下运货商数据 在 IDE 中新建脚本，编写 SPL 语句，连接数据库，通过 SQL 加载 orders 表的数据。
23510编辑于 2025-08-26 - 来自专栏携程技术
干货 | 提速10倍+，StarRocks 指标平台在携程火车票的实践
作者简介 Kane，携程高级数仓经理，专注数仓建设、数据应用和分析； Wn，大数据平台开发专家，专注大数据领域。 更新同步：火车票 BU 的一些订单数据由于涉及到预售和订单状态的变更，变更的数据时间跨度比较大，将跨度范围内的数据全部更新代价比较高，因此使用更新模型。 每天同步当月数据：如国际火车的访问数据量较小，每天一个分区会导致 StarRocks 集群有很多小的 bucket，分桶数太多会导致元数据压力比较大，数据导入导出时也会受到一些影响，因此我们按月设置分区 ，每天同步当月的数据。 而在重构后，查询时间大大缩短，复杂查询在 10s 左右，并且 P99 在 2 秒之内，因此整体体验得到显著提升，用户查询次数相比改造前也有了翻倍的增长。
91420编辑于 2023-09-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号