- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据计算
数据外置提速革命：轻量级开源SPL如何用文件存储实现MPP级性能？
传统数据库，特别是交易（TP）数据库，用于分析型计算经常会出现性能问题。TP数据库的性能优化主要是提高事务处理和写操作（增删改）的效率，这和分析型计算的优化方向并不一致，也就很难让分析计算跑的快。 常见的解决办法是把历史数据从TP数据库搬到专业OLAP数据仓库中计算。不过，OLAP数据仓库太沉重，经常需要集群，硬件成本较高，还可能有昂贵的授权费用，更重要的是，整个技术架构也变得非常复杂。 实现数据外置提速的同时，也不会让系统架构变得很复杂：轻量的SPL，计算能力却非常强大，在列式存储、数据压缩、多线程并行等方面都做了深度优化，能让条件过滤、分组汇总这些常规运算的性能大幅提升，完全不输于专业的 SPL常规计算与MYSQL对比（单位：秒）注：测试环境和方法参见 《如何用esProc将数据库表转储提速查询》SPL代码也很简单，比如大订单表的过滤和分组汇总：专业OLAP数据仓库利用列存压缩等技术能让常规运算中跑出较高性能 同时，SPL代码仍很简单：6月6日有现场讲解用SPL实现外置提速的免费培训：课程涉及的实例都是传统数据库很头疼的老大难问题，比如COUNT DISTINCT，外键JOIN，大主子表关联（包括EXISTS
23910编辑于 2025-05-23 - 来自专栏星汉技术
Hive应用：数据外置内部表 原
示例 先创建HDFS目录/data/person，将数据文件上传到此目录之下。 0 6.0 刘备 40.0 男 成都 0 7.0 小李 29.0 男 江南 0 Time taken: 0.141 seconds, Fetched: 7 row(s) hive> 此时就创建了一个数据外置的内部表 ，这个表也允许先有数据，上面展示的数据，就是证明了这一点，完美展示了数据外置的内部表。 然而如果删除Hive中的这个表的话，数据也会跟着被删除。 下图是数据存放的目录： ? 在看一下test数据库目录： ? 没有person表的目录。 总结 所以综上所述，这种内部表有普通外部表的先有数据的特性，还具有普通内部表删除表数据也同时删除的特性。那么如果这个表也是内部表的话，那么内部表和外部表的区别在哪里？
60320发布于 2019-03-13 - 来自专栏鳄鱼儿的技术分享
Docker 安装 Redis 并外置数据文件
前言 Redis是一个开源的内存型数据库，也被称为数据结构服务器nosql。它是一种高性能、非关系型数据库，通常用于缓存和快速存储键值对数据，也可以支持多种复杂的数据结构。 将配置文件和数据文件映射到外部 创建存放redis数据的文件夹 mkdir -p ~/i/apps/redis/{conf,data} 下载配置文件 下载redis配置文件，这里是redis的默认配置 该参数后data映射是将主机上的数据目录 ~/i/apps/redis/data 映射到容器内部的 /data 目录。这样可以将 Redis 数据持久化到主机文件系统，即数据在容器销毁后仍可以保留。 name myredis redis redis-server /usr/local/etc/redis/redis.conf 脚本启动 为了方便启动redis，这里我写了一个启动脚本，该脚本仅映射了数据文件的
54810编辑于 2024-05-21 - 来自专栏新智元
TensorFlow正式发布1.5.0，支持CUDA 9和cuDNN 7，双倍提速
来源：Github 编译：费欣欣 【新智元导读】TensorFlow今天正式发布了1.5.0版本，支持CUDA 9和cuDNN 7，进一步提速。 重大变动 现在预编译的二进制文件是针对CUDA 9和cuDNN 7构建的。 从1.6版本开始，预编译二进制文件将使用AVX指令。这可能会破坏老式CPU上的TF。 提供CUDA 9和cuDNN 7支持。 加速线性代数（XLA）： 将complex64支持添加到XLA编译器。 bfloat支持现在被添加到XLA基础设施。 tf.data现在支持数据集元素中的tf.SparseTensor组件。 现在可以遍历Tensors。 允许SparseSegmentReduction操作缺少段ID。 估算器现在支持数据集：input_fn可以返回数据集，而不是张量。 添加RevBlock，这是可逆残留层的高效内存实现。 减少BFCAllocator内部碎片。
1.3K60发布于 2018-03-20 - 来自专栏机器学习AI算法工程
9种提速又提效的模型优化方案
我这次就给大家分享9篇对Transformer模型进行效率优化的改进文章，以方便大家更高效地使用模型，寻找论文创新点。 此外，Longformer还支持长文档生成序列到序列任务，并在arXiv摘要生成数据集上展示了其有效性。
3K11编辑于 2024-04-30 - 来自专栏电源驱动IC
LED外置MOS降压恒流驱动IC 12-36V 9V 1A驱动方案
本品特点：宽输入电压范围：9V～100V ◆ 固定工作频率：140KHZ◆ 可设定电流范围：10mA～6000mA ◆ 内置抖频电路，降低对其他设备的 EMI 干扰◆ 平均电流模式采样，恒流精度更高◆
49820编辑于 2023-03-20 - 来自专栏应用计算
SPL轻量级文件存储提速查询实践
传统交易（TP）数据库不擅长分析计算，而专业 OLAP 数据库又过于沉重，经常需要集群，不仅成本高昂，也会使系统架构变得更复杂。 esProc SPL 很轻，直接嵌入应用就可以运行，在实现数据外置提速的同时，也不会让整个系统架构变得很复杂：这里准备了一套使用 SPL 外置数据提速查询的实践方法：第一篇 - 常规过滤及分组汇总第二篇 乾学院有例子数据 csv 文件和建表 SQL，模拟某公司线下订单和电子商务的部分数据。需要在 MYSQL 数据库中建表，并导入 csv 数据。 customer，存储线下客户数据，数据量较小：城市表 city，存储线下客户所在城市数据，数据量较小：州表 state，存储线下客户所在州数据，数据量较小：运货商表 shipper，存储线下运货商数据 SPL 代码 1：按 ctrl-F9 或单击执行按钮后，点击 A2 格，在右边可以看到 100 条数据。SPL 代码写在单元格中，可以直接用格名作为临时变量。
23510编辑于 2025-08-26 - 来自专栏大数据在线
释放数据潜力，HCSF为AI应用提速
“五年前，我们很多行业客户的数据还是以ERP、CRM等数据为主，10TB就属于很大的数据量；今天，这些客户积累的数据量通常达到PB级，像行为数据等非结构化数据增长极为迅速，业务形态也发生了巨大变化，基于海量数据的 02 数据不该成为AI拦路虎 在了解AI应用带来的数据挑战之前，我们需要清楚AI应用场景会产生什么样的数据、这些数据具有什么特点、AI应用对于数据存储都会有哪些要求。 具体到AI应用的环境，首先数据需要进行准备和清洗，将原始数据去重、去除格式错误、去除错误数据和启发式回填，将数据转换为机器学习模型所需要的格式，这个处理阶段通常具有典型I/O极其密集的特征，需要数据缓存基础设施实时执行 03 HCSF：为AI应用提速 事实上，如果仔细分析AI应用涉及到的数据采集、整合、传输、存储、管理和应用，会发现当前很多企业往往是通过选择不同架构的数据存储产品来满足需求，造成在性能、可扩展性和易用性之间妥协 其次，Hitachi Content Software for File为整个数据管理提供单一平台，实现了基于元数据的数据管理自动化和智能化，实现跨越边缘、核心和云的数据管理，消除数据孤岛和多副本情况，
65740发布于 2021-10-13 - 来自专栏业余草
9种方法让你访问Github提速到2MBs！
编辑：业余草 经常有不少粉丝问我，github 访问超级慢，有没有办法加快，我当初推荐的第 9 种方法。 这种方法太过麻烦，直到最近我在网上看到有牛人总结的 GitHub 的 9 种加速方式，感觉还不错，小伙伴们可以试试！ 1. 9. 通过修改 HOSTS 文件进行加速 手动把cdn和ip地址绑定。
115.2K118发布于 2020-08-26 - 来自专栏sktj
Kubernetes(9:数据)
作用是在Pod中共享数据 创建Pod，volumeMounts ? image.png emptyDir是Host上创建的临时目录，其优点是能够方便地为Pod中的容器提供共享存储，不需要额外的配置。
41520发布于 2019-09-24 - 来自专栏mysql
hhdb数据库介绍(9-9)
高可用服务读写分离计算节点支持读写分离功能，并且支持配置读写分离权重读写分离功能说明要使用读写分离功能，需在数据节点中配置主备存储节点。读写分离功能默认设置为关闭。 -- 不开启读写分离：0；可分离的读请求发往所有可用数据源：1；可分离的读请求发往可用备数据源：2；事务中发生写前的读请求发往可用备数据源：3--><property name="weightForSlaveRWSplit strategyForRWSplit参数为1时可设置主备存储节点的读比例，设置备存储节点读比例后<em>数据</em>节点下的所有备存储节点均分该比例的读任务。 strategyForRWSplit参数为2时<em>数据</em>节点上的所有可分离的读任务会自动均分至该<em>数据</em>节点下的所有备存储节点上，若无备存储节点则由主存储节点全部承担。 用户级别的读写分离可通过管理平台创建<em>数据</em>库用户页面添加用户或编辑用户开启用户级别的读写分离。
23110编辑于 2024-11-29 - 来自专栏技术集锦
练习9—数据计算
题目 写一个简单的函数实现下面的功能：具有三个参数，完成对两个整型数据的加、减、乘、除四种操作，前两个为操作数，第三个参数为字符型的参数。 ; } 说明 注意switch-case语句中case处的数据类型，因为设定了变量c为char类型，所以需要使用 c = input.next().charAt(0) 语句接收用户键盘上的单个字符输入
30720编辑于 2022-06-03 - 来自专栏电源管理IC
GS3661输入5V升压9V2A 外置MOS SOT23-5封装升压芯片
本文将介绍一款基于外置MOS管SOT23-5封装的5V升压9V2A升压芯片GS3661。该芯片采用高效开关电源技术，具有体积小、重量轻、效率高等特点，适用于各种需要高电压、大电流的应用场景。 输出电压稳定：通过调节反馈电压，可以输出稳定的9V电压，保证输出电压的精度和稳定性。3. 输出电流大：该芯片可以输出高达2A的电流，满足大部分应用场景的需求。4. 外置MOS管：采用SOT23-5封装的外置MOS管，易于安装和使用，同时提高了芯片的可靠性和稳定性。6. 保护功能完善：具有过热保护、过电压保护、过电流保护等功能，有效保护芯片和整个电路的安全。 四、总结GS3661是一款基于外置MOS管SOT23-5封装的5V升压9V2A升压芯片，采用高效开关电源技术实现电压的转换。
90810编辑于 2023-11-27 - 来自专栏应用计算
第五篇 - 大主子表关联时的 EXISTS--SPL轻量级文件存储提速查询实践
这样的计算本质上是在做主键关联，如果能预先将主子表都按照主键有序存储，也可以使用有序归并算法有效提速。esProc SPL 可以把主子表的 EXISTS 转化为有序归并，从而提升计算性能。 下面通过订单表和订单明细表的例子，介绍这种情况的外置提速方法。先完成数据准备，可以直接使用第四篇生成的 CTX 文件。例 5.1 对包含 7 号产品的订单，按照客户号分组统计订单个数。 执行时间：0.2 秒例 5.3 找出明细不止一条的订单，要求订单不包含 9 号产品，按照日期分组统计订单数量。 只保留 order_ id 个数大于 1 且不包含 product_id 为 9 的组。 2、思考：在自己熟悉的数据库中有没有大主子表关联计算 EXISTS？是否可以用有序归并方法提速？
11010编辑于 2025-10-30 - 来自专栏CSDN搜“看，未来”
数据结构（9）-- 跳表
文章目录 跳表 跳表的搜索 跳表的插入 抛硬币 跳表的删除 跳表的代码实现 跳表数据结构 初始化跳表 插入节点 删除节点 销毁跳表 为什么Redis要用跳表来实现有序集合？ 跳表(skip list) 对应的是平衡树(AVL Tree)，是一种 插入/删除/搜索 都是 O(log n) 的数据结构。它最大的优势是原理简单、容易实现、方便扩展、效率更高。 节点，发现17比其大，向后搜索，发现6后面的节点指向了Nil(第4层)，那么搜索的层数降低1层， 从此节点的第3层开始搜索，发现下个节点是25，大于17，那么再降低一层，从2层开始搜索，发现第2层是9， 小于17，继续搜索，发现9节点的下一个数是17，搜索完成。 ---- 跳表的代码实现 跳表数据结构 如上图中的E节点，表示的是头节点，一般跳表的实现，最大有多少层(MAX_LEVEL)是确定的。所以e的个数是固定的。
50830发布于 2021-09-18 - 来自专栏全栈程序员必看
Landsat 9 数据详细介绍
目录 1.基本情况 2.Landsat9数据介绍 2.1 Landsat系列波段信息图谱 2.2 Landsat9基本信息 2.2.1 Quick Facts 2.2.2 LANDSAT9 波段信息 ，实际于于2021年9月27日发射，并已经开始采集第一批数据，2021年10月31日获取到遥感数据。 Landsat 9 的 OLI-2 和 TIRS-2 的 14 位数据将其增加到 16,384 个数据值。 然而，不同之处在于，Landsat 9 将下行链接 OLI-2 产生的所有 14 位数据，与从 Landsat 8 的 OLI 下行链接的 12 位数据相比，为其图像提供更大的位深度。 Landsat9数据目前成处于检查期，后期将于USGS网站免费共享。
5.2K20编辑于 2022-09-15 - 来自专栏机器学习/数据可视化
数据平滑9大妙招
今天给大家分享9大常见数据平滑方法：移动平均Moving Average指数平滑Exponential Smoothing低通滤波器多项式拟合贝塞尔曲线拟合局部加权散点平滑LoessKalman滤波小波变换 它对最近的数据点给予较高的权重，而对较早的数据点给予较低的权重。这使得EMA更适合用于追踪快速变化的数据。 指数平滑的主要特点包括：加权平滑：指数平滑使用指数权重来平滑数据。较新的数据点获得更高的权重，而较旧的数据点获得较低的权重。这意味着它对最近的数据更为敏感，从而更好地捕获了数据的最新趋势。 7, 8, 9])y = np.array([10, 8, 7, 6, 5, 4, 3, 2, 1])# 三阶多项式拟合degree = 3coefficients = np.polyfit(x, y 数据平滑：Savitzky-Golay滤波器旨在平滑数据，减小数据中的高频噪声和突发波动。它保留了数据中的趋势和主要特征，同时去除了噪声。
6K44编辑于 2023-10-13 - 来自专栏Python数据科学
经验 | 3行代码数据预处理提速6倍！
它易于使用，并拥有许多很棒的库，可以轻松地处理数据。但是当我们需要处理大量数据时，事情就变得棘手了...... “大数据”这个词通常指的是数据集，一个数据集里的数据点如果没有数百万个，也有数十万。 这个程序遵循在数据处理脚本中经常看到的简单模式： 首先是要处理的文件（或其他数据）列表； 你可以使用for循环逐个处理每个数据片段，然后在每个循环迭代上运行预处理 让我们在一个包含1000个jpeg文件的文件夹上测试这个程序 注意：产生更多Python进程并在它们之间移动数据时，会产生一些开销，因此不会总是得到这么大的速度提升。 但总的来说，加速相当显著。 是否总能大幅加速 当你有要处理的数据列表并且要对每个数据点执行类似的计算时，使用Python并行池是一个很好的解决方案。但是，它并不总是完美的。并行池处理的数据不会以任何可预测的顺序处理。 你处理的数据还必须是Python知道如何“pickle”的类型。幸运的是，这些类型很常见。
69550发布于 2018-12-25 - 来自专栏量子位
Pandas循环提速7万多倍！Python数据分析攻略
乾明 编译整理 量子位 报道 | 公众号 QbitAI 用Python和Pandas进行数据分析，很快就会用到循环。 但在这其中，就算是较小的DataFrame，使用标准循环也比较耗时。 他是一位来自德国的数据分析师，名叫Benedikt Droste。 他说，当自己花了大半个小时等待代码执行的时候，决定寻找速度更快的替代方案。 我们一起来看看~ 标准循环处理3年足球赛数据：20.7秒 DataFrame是具有行和列的Pandas对象。如果使用循环，需要遍历整个对象。 Python不能利用任何内置函数，而且速度很慢。 他说，如果你使用Python、Pandas和Numpy进行数据分析，总会有改进代码的空间。 在对上述五种方法进行比较之后，哪个更快一目了然： ?
2.4K30发布于 2019-09-02 - 来自专栏机器学习算法与Python学习
经验 | 3行代码数据预处理提速6倍！
它易于使用，并拥有许多很棒的库，可以轻松地处理数据。但是当我们需要处理大量数据时，事情就变得棘手了...... “大数据”这个词通常指的是数据集，一个数据集里的数据点如果没有数百万个，也有数十万。 这个程序遵循在数据处理脚本中经常看到的简单模式： 首先是要处理的文件（或其他数据）列表； 你可以使用for循环逐个处理每个数据片段，然后在每个循环迭代上运行预处理 让我们在一个包含1000个jpeg文件的文件夹上测试这个程序 注意：产生更多Python进程并在它们之间移动数据时，会产生一些开销，因此不会总是得到这么大的速度提升。 但总的来说，加速相当显著。 是否总能大幅加速 当你有要处理的数据列表并且要对每个数据点执行类似的计算时，使用Python并行池是一个很好的解决方案。但是，它并不总是完美的。并行池处理的数据不会以任何可预测的顺序处理。 你处理的数据还必须是Python知道如何“pickle”的类型。幸运的是，这些类型很常见。
57630发布于 2018-12-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号