- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据计算
数据外置提速革命：轻量级开源SPL如何用文件存储实现MPP级性能？
传统数据库，特别是交易（TP）数据库，用于分析型计算经常会出现性能问题。TP数据库的性能优化主要是提高事务处理和写操作（增删改）的效率，这和分析型计算的优化方向并不一致，也就很难让分析计算跑的快。 常见的解决办法是把历史数据从TP数据库搬到专业OLAP数据仓库中计算。不过，OLAP数据仓库太沉重，经常需要集群，硬件成本较高，还可能有昂贵的授权费用，更重要的是，整个技术架构也变得非常复杂。 实现数据外置提速的同时，也不会让系统架构变得很复杂：轻量的SPL，计算能力却非常强大，在列式存储、数据压缩、多线程并行等方面都做了深度优化，能让条件过滤、分组汇总这些常规运算的性能大幅提升，完全不输于专业的 SPL常规计算与MYSQL对比（单位：秒）注：测试环境和方法参见 《如何用esProc将数据库表转储提速查询》SPL代码也很简单，比如大订单表的过滤和分组汇总：专业OLAP数据仓库利用列存压缩等技术能让常规运算中跑出较高性能 同时，SPL代码仍很简单：6月6日有现场讲解用SPL实现外置提速的免费培训：课程涉及的实例都是传统数据库很头疼的老大难问题，比如COUNT DISTINCT，外键JOIN，大主子表关联（包括EXISTS
23910编辑于 2025-05-23 - 来自专栏星汉技术
Hive应用：数据外置内部表 原
示例 先创建HDFS目录/data/person，将数据文件上传到此目录之下。 0 6.0 刘备 40.0 男 成都 0 7.0 小李 29.0 男 江南 0 Time taken: 0.141 seconds, Fetched: 7 row(s) hive> 此时就创建了一个数据外置的内部表 ，这个表也允许先有数据，上面展示的数据，就是证明了这一点，完美展示了数据外置的内部表。 然而如果删除Hive中的这个表的话，数据也会跟着被删除。 下图是数据存放的目录： ? 在看一下test数据库目录： ? 没有person表的目录。 总结 所以综上所述，这种内部表有普通外部表的先有数据的特性，还具有普通内部表删除表数据也同时删除的特性。那么如果这个表也是内部表的话，那么内部表和外部表的区别在哪里？
60320发布于 2019-03-13 - 来自专栏鳄鱼儿的技术分享
Docker 安装 Redis 并外置数据文件
前言 Redis是一个开源的内存型数据库，也被称为数据结构服务器nosql。它是一种高性能、非关系型数据库，通常用于缓存和快速存储键值对数据，也可以支持多种复杂的数据结构。 将配置文件和数据文件映射到外部 创建存放redis数据的文件夹 mkdir -p ~/i/apps/redis/{conf,data} 下载配置文件 下载redis配置文件，这里是redis的默认配置 该参数后data映射是将主机上的数据目录 ~/i/apps/redis/data 映射到容器内部的 /data 目录。这样可以将 Redis 数据持久化到主机文件系统，即数据在容器销毁后仍可以保留。 name myredis redis redis-server /usr/local/etc/redis/redis.conf 脚本启动 为了方便启动redis，这里我写了一个启动脚本，该脚本仅映射了数据文件的
54810编辑于 2024-05-21 - 来自专栏机器学习与统计学
Python 优化提速的 8 个小技巧
避免数据复制 4.1 避免无意义的数据复制 # 不推荐写法，代码耗时：6.5秒 def main(): size = 10000 for _ in range(size): in value] square_list = [x * x for x in value_list] main() 上面的代码中value_list完全没有必要，这会创建不必要的数据结构或复制 sum def main(): size = 10000 for _ in range(size): sum = computeSum(size) main() 8. 选择合适的数据结构 Python 内置的数据结构如str, tuple, list, set, dict底层都是 C 实现的，速度非常快，自己实现新的数据结构想在性能上达到内置的速度几乎是不可能的。 下面的网页给出了常用的 Python 数据结构的各项操作的时间复杂度：https://wiki.python.org/moin/TimeComplexity 参考资料 David Beazley & Brian
1.5K20发布于 2021-07-28 - 来自专栏Python绿色通道
Python 优化提速的 8 个小技巧
避免数据复制 4.1 避免无意义的数据复制 # 不推荐写法，代码耗时：6.5秒 def main(): size = 10000 for _ in range(size): in value] square_list = [x * x for x in value_list] main() 上面的代码中value_list完全没有必要，这会创建不必要的数据结构或复制 value = range(size) square_list = [x * x for x in value] # 避免无意义的复制 main() 另外一种情况是对 Python 的数据共享机制过于偏执 sum def main(): size = 10000 for _ in range(size): sum = computeSum(size) main() 8. 选择合适的数据结构 Python 内置的数据结构如str, tuple, list, set, dict底层都是 C 实现的，速度非常快，自己实现新的数据结构想在性能上达到内置的速度几乎是不可能的。
64441发布于 2021-07-13 - 来自专栏JAVA
Springboot使用外置tomcat7 8版本中部署运行
Springboot使用外置tomcat7 8版本中部署运行 在一些完整的脚手架中 只需要第一步即可： 修改打包方式为 war <packaging>war</packaging> 剔除内置tomcat
38010编辑于 2024-11-20 - 来自专栏用户6291251的专栏
8个Python优化提速的小技巧！
避免数据复制 4.1 避免无意义的数据复制 # 不推荐写法，代码耗时：6.5秒 def main(): size = 10000 for _ in range(size): in value] square_list = [x * x for x in value_list] main() 上面的代码中value_list完全没有必要，这会创建不必要的数据结构或复制 sum def main(): size = 10000 for _ in range(size): sum = computeSum(size) main() 8. 选择合适的数据结构 Python 内置的数据结构如str, tuple, list, set, dict底层都是 C 实现的，速度非常快，自己实现新的数据结构想在性能上达到内置的速度几乎是不可能的。 下面的网页给出了常用的 Python 数据结构的各项操作的时间复杂度：https://wiki.python.org/moin/TimeComplexity 参考资料 David Beazley & Brian
36340发布于 2021-09-14 - 来自专栏铭毅天下
Elasticsearch 8.X reindex 源码剖析及提速指南
https://github.com/elastic/elasticsearch/blob/001fcfb931454d760dbccff9f4d1b8d113f8708c/server/src/main 这是一种强大的方式，可以用于数据迁移、索引重组、数据转换等任务。 3.2 slice 并行处理 slice 在 Elasticsearch 的重索引操作中确实可以帮助提速。slice 是一种将大型查询分解为多个较小部分并并行执行它们的方法，从而使整体操作更快。 并行执行提速 使用切片后，每个切片都可以在单独的线程或节点上并行执行。这样，如果我们有多个节点或足够的资源，切片可以显著提高重索引的速度。 直接迁移 30000ms左右（事后视频回放看到的） slice迁移 10263ms 综上两种数量级不同数据的 reindex 结果可以看出，加了 slice 能提速 3-4倍！
88930编辑于 2023-09-09 - 来自专栏JAVA葵花宝典
让开发部署提速 8 倍的 IDE 插件
遇见 Cloud Toolkit ---- 在与中间件小姐姐的一次聊天中，偶然间了解到这款插件：“这款免费的 IDE 开发者工具能够使开发部署效率提高 8 倍。” Deploy to CS K8s：在云原生时代，很多应用使用容器化的方式进行部署，Cloud Toolkit 这一点做的还是不错的，已经具备了容器化部署的能力，具有一定的前瞻性。 线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！ 5. 是否有一个全局视角来查看系统的运行状况？ 6. 有什么办法可以监控到 JVM 的实时运行状态？
1.7K20发布于 2019-07-16 - 来自专栏reizhi
安装Google插件Chrome Frame后IE8提速10倍
Google近日为IE发布了一款开源插件Chrome Frame，兼容XP、Vista系统，适用于IE6、IE7、IE8，安装该插件后IE用户就可以使用Chrome的JavaScript引擎，体验到和 ZDnet和ComputerWorld分别进行了测试，不过测试结果大同小异，在Sunspider JavaScript基准测试中，安装Chrome Frame后IE8的速度相比未安装该插件的IE8 ZDnet在64位Vista平台上分别选取IE7、IE8、安装Chrome Frame后的IE7和IE8、Chrome 3进行了Sunspider JavaScript基准测试，根据测试结果，安装 Chrome Frame后的IE7速度提升了近40倍，安装该插件的IE8速度提升了10倍，两者在JavaScript处理速度上基本和Google Chrome持平。 ComputerWorld同样采用了Sunspider JavaScript基准套件进行了多次测试，同样的，安装Chrome Frame的IE8比IE8自身快9.6倍。
1.1K30编辑于 2022-09-26 - 来自专栏应用计算
SPL轻量级文件存储提速查询实践
传统交易（TP）数据库不擅长分析计算，而专业 OLAP 数据库又过于沉重，经常需要集群，不仅成本高昂，也会使系统架构变得更复杂。 esProc SPL 很轻，直接嵌入应用就可以运行，在实现数据外置提速的同时，也不会让整个系统架构变得很复杂：这里准备了一套使用 SPL 外置数据提速查询的实践方法：第一篇 - 常规过滤及分组汇总第二篇 乾学院有例子数据 csv 文件和建表 SQL，模拟某公司线下订单和电子商务的部分数据。需要在 MYSQL 数据库中建表，并导入 csv 数据。 customer，存储线下客户数据，数据量较小：城市表 city，存储线下客户所在城市数据，数据量较小：州表 state，存储线下客户所在州数据，数据量较小：运货商表 shipper，存储线下运货商数据 如果遇到问题可以前往乾学院查阅教程和函数参考：实践使用的测试环境是 VMWARE 虚拟机，8 核 CPU，8G 内存，SSD 硬盘，操作系统是 Win11，MYSQL 版本是 8.0，esProc SPL
23510编辑于 2025-08-26 - 来自专栏大数据在线
释放数据潜力，HCSF为AI应用提速
“五年前，我们很多行业客户的数据还是以ERP、CRM等数据为主，10TB就属于很大的数据量；今天，这些客户积累的数据量通常达到PB级，像行为数据等非结构化数据增长极为迅速，业务形态也发生了巨大变化，基于海量数据的 02 数据不该成为AI拦路虎 在了解AI应用带来的数据挑战之前，我们需要清楚AI应用场景会产生什么样的数据、这些数据具有什么特点、AI应用对于数据存储都会有哪些要求。 具体到AI应用的环境，首先数据需要进行准备和清洗，将原始数据去重、去除格式错误、去除错误数据和启发式回填，将数据转换为机器学习模型所需要的格式，这个处理阶段通常具有典型I/O极其密集的特征，需要数据缓存基础设施实时执行 03 HCSF：为AI应用提速 事实上，如果仔细分析AI应用涉及到的数据采集、整合、传输、存储、管理和应用，会发现当前很多企业往往是通过选择不同架构的数据存储产品来满足需求，造成在性能、可扩展性和易用性之间妥协 其次，Hitachi Content Software for File为整个数据管理提供单一平台，实现了基于元数据的数据管理自动化和智能化，实现跨越边缘、核心和云的数据管理，消除数据孤岛和多副本情况，
65740发布于 2021-10-13 - 来自专栏Apache Doris
揭秘 Variant 数据类型：灵活应对半结构化数据，JSON查询提速超 8 倍，存储空间节省 65%
移动应用利用半结构化数据记录用户行为数据，随着新功能的引入，用户行为的属性可能会发生改变。半结构化数据能够灵活适应这些变化，无需频繁修改数据库结构。 Variant 的引入，使得存储和查询性能上均有显著提升，相较于 JSON 类型，存储空间减少了约 65%，查询速度提升超 8 倍。 6027092734, "size": 4, "distinct_size": 4, "ref": "refs/heads/master", "head": "91edd3c8c98c214155191feb852831ec535580ba Clickbench 43 个 SQL 进行了测试，如下表可知，Variant 类型与预定义静态列的查询性能差异在 10% 左右；而对于 JSON 类型来说，Variant 类型的查询速度相比于 JSON 类型提升了 8 , "x_1" : 1，"x_2": "3"}{"a":4, "b":5, "c":6, "x_3" : 1，"x_4": "3"}{"a":7, "b":8, "c":9, "x_5" : 1，"x_
1.2K20编辑于 2024-03-14 - 来自专栏Linyb极客之路
让web开发部署提速 8 倍的一款IDEA插件
Deploy to CS K8S：在云原生时代，很多应用使用容器化的方式进行部署，Cloud Toolkit 这一点做的还是不错的，已经具备了容器化部署的能力，具有一定的前瞻性。 线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！ 是否有一个全局视角来查看系统的运行状况？ 有什么办法可以监控到 JVM 的实时运行状态？
4.2K10发布于 2019-07-15 - 来自专栏深度学习与python
抛弃V8参数适配器框架！JavaScript调用提速40%的实践
加快 JavaScript 调用 为了讲清楚我们如何加快调用，首先我们来看看 V8 如何执行一个调用，以及参数适配器框架如何工作。 当我们在 JS 中调用一个函数调用时，V8 内部会发生什么呢？ 在函数调用期间 V8 内部的执行流程。 Ignition V8 是一个多层 VM。它的第一层称为 Ignition，是一个具有累加器寄存器的字节码栈机。 V8 首先会将代码编译为 Ignition 字节码。 不仅如此，我们还需要注意不要访问过时的旧数据。 内部函数来强制 V8 优化调用，否则 V8 仅在我们的小函数变热（经常使用）时才对其进行优化。
62010发布于 2021-03-12 - 来自专栏芋道源码1024
牛逼 IDE 插件，一键部署 Docker 镜像，开发部署提速 8 倍
阿里云小姐姐直播，手把手教你，12月5日晚上8点—9点，点击阅读原文，直播间等你（还有弹幕截屏送礼品！） 容器镜像仓库 ACR ?
4.1K20发布于 2019-11-29 - 来自专栏Python数据科学
经验 | 3行代码数据预处理提速6倍！
它易于使用，并拥有许多很棒的库，可以轻松地处理数据。但是当我们需要处理大量数据时，事情就变得棘手了...... “大数据”这个词通常指的是数据集，一个数据集里的数据点如果没有数百万个，也有数十万。 这个程序遵循在数据处理脚本中经常看到的简单模式： 首先是要处理的文件（或其他数据）列表； 你可以使用for循环逐个处理每个数据片段，然后在每个循环迭代上运行预处理 让我们在一个包含1000个jpeg文件的文件夹上测试这个程序 注意：产生更多Python进程并在它们之间移动数据时，会产生一些开销，因此不会总是得到这么大的速度提升。 但总的来说，加速相当显著。 是否总能大幅加速 当你有要处理的数据列表并且要对每个数据点执行类似的计算时，使用Python并行池是一个很好的解决方案。但是，它并不总是完美的。并行池处理的数据不会以任何可预测的顺序处理。 你处理的数据还必须是Python知道如何“pickle”的类型。幸运的是，这些类型很常见。
69550发布于 2018-12-25 - 来自专栏量子位
Pandas循环提速7万多倍！Python数据分析攻略
乾明 编译整理 量子位 报道 | 公众号 QbitAI 用Python和Pandas进行数据分析，很快就会用到循环。 但在这其中，就算是较小的DataFrame，使用标准循环也比较耗时。 他是一位来自德国的数据分析师，名叫Benedikt Droste。 他说，当自己花了大半个小时等待代码执行的时候，决定寻找速度更快的替代方案。 我们一起来看看~ 标准循环处理3年足球赛数据：20.7秒 DataFrame是具有行和列的Pandas对象。如果使用循环，需要遍历整个对象。 Python不能利用任何内置函数，而且速度很慢。 他说，如果你使用Python、Pandas和Numpy进行数据分析，总会有改进代码的空间。 在对上述五种方法进行比较之后，哪个更快一目了然： ?
2.4K30发布于 2019-09-02 - 来自专栏机器学习算法与Python学习
经验 | 3行代码数据预处理提速6倍！
它易于使用，并拥有许多很棒的库，可以轻松地处理数据。但是当我们需要处理大量数据时，事情就变得棘手了...... “大数据”这个词通常指的是数据集，一个数据集里的数据点如果没有数百万个，也有数十万。 这个程序遵循在数据处理脚本中经常看到的简单模式： 首先是要处理的文件（或其他数据）列表； 你可以使用for循环逐个处理每个数据片段，然后在每个循环迭代上运行预处理 让我们在一个包含1000个jpeg文件的文件夹上测试这个程序 注意：产生更多Python进程并在它们之间移动数据时，会产生一些开销，因此不会总是得到这么大的速度提升。 但总的来说，加速相当显著。 是否总能大幅加速 当你有要处理的数据列表并且要对每个数据点执行类似的计算时，使用Python并行池是一个很好的解决方案。但是，它并不总是完美的。并行池处理的数据不会以任何可预测的顺序处理。 你处理的数据还必须是Python知道如何“pickle”的类型。幸运的是，这些类型很常见。
57630发布于 2018-12-25 - 来自专栏Java后端技术栈cwnait
MySQL 数据库的提速器-写缓存（Change Buffer）
写缓存（Change Buffer） 是一种特殊的数据结构，用于在对数据变更时，如果数据所在的数据页没有在 buffer pool 中的话，在不影响数据一致性的前提下，InnoDB 引擎会将对数据的操作缓存在 将数据页从磁盘读入内存中涉及随机 IO 访问，这也是数据库里面成本最高的操作之一，而利用写缓存（Change Buffer）可以减少 IO 操作，从而提升数据库性能。 图中详细的描述了 Change Buffer 的功能，Change Buffer 中的数据最终还是会刷回到数据所在的原始数据页中，Change Buffer 数据应用到原始数据页，得到新的数据页的过程称之为 merge 过程中只会将 Change Buffer 中与原始数据页有关的数据应用到原始数据页，以下三种情况会发生 merge 操作： 1、原始数据页加载到 Buffer Pool 时。 page2 中插入数据，先将数据写入到写缓存（Change Buffer）中，再后台通过 merge 操作将插入的数据写入到数据页 page2 。
3.8K20发布于 2020-03-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号