首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏python3

    esproc vs python 4

    结果: esproc ? python ? 耗时esproc0.007python0.030 2. 计算1998年销售额占到一半的前 n 个客户 esproc                      A1=now()2=file("E:\\esproc\\esProc\\demo\\zh\\txt \\esProc\\demo\\zh\\txt\\Contract.txt',sep='\t') client_info = pd.read_csv('E:\\esproc\\esProc\\demo\ 结果: esproc ? python ? 耗时esproc0.007python0.016 3.找出1995年每个月销售额都在前8名的销售员 esproc A1=now()2=file("E:\\esproc\\esProc\\demo\\zh

    2.7K10发布于 2020-01-14
  • 来自专栏python3

    esproc vs python 5

    esproc ? 结果: esproc ? python ? ? esproc ? 结果: esproc ? python ? ? 4.增加增长率记录 esproc                      ? 结果: esproc ? python ? ? 6. 准备测试数据 esproc ?

    2.9K20发布于 2020-01-15
  • 来自专栏kafka专栏

    Hadoop Spark太重,esProc SPL很轻

    轻量级的选择 开源的esProc SPL是轻量级大数据计算引擎,采用了全新的实现技术,可以做到技术轻、使用简单、成本低。

    54630编辑于 2022-09-20
  • 来自专栏程序猿DD

    HadoopSpark 太重,esProc SPL 很轻

    轻量级的选择 开源的 esProc SPL 是轻量级大数据计算引擎,采用了全新的实现技术,可以做到技术轻、使用简单、成本低。

    61941编辑于 2023-02-27
  • 来自专栏全栈学习专栏

    ClickHouse 挺快,esProc SPL 更快

    esProc SPL登场 开源esProc SPL也是以高性能作为宣传点,那么我们再来比较一下。 仍然是跑TPC-H来看 : Q2、Q3、Q7这些较复杂的运算,SPL比CH和ORA跑的都快。 大概可以得到结论,esProc SPL无论做简单计算,还是复杂计算性能都非常好。 不过,Q1这种简单运算,CH比SPL还是略胜了一筹。似乎可以进一步证明前面的结论,即CH特别擅长简单遍历运算。 也就是说,无论简单运算还是复杂运算,esProc SPL都能更胜一筹。 进一步的差距 差距还不止于此。 正如前面所说,CH和ORA使用SQL语言,都是基于关系模型的,所以都面临SQL优化的问题。

    75120编辑于 2022-10-31
  • 来自专栏kafka专栏

    Hadoop Spark太重,esProc SPL很轻

    轻量级的选择 开源的esProc SPL是轻量级大数据计算引擎,采用了全新的实现技术,可以做到技术轻、使用简单、成本低。

    88340编辑于 2022-09-20
  • 来自专栏数据分析

    怎样用 esProc 实现冷热混合运算

    下面把 esProc 集成到 Java 应用中。 从 [esProc 安装目录]\esProc\lib 目录下找到 esProc JDBC 相关的 jar 包:esproc-bin-xxxx.jar、icu4j_60.3.jar。 再从目录 [esProc 安装目录]\esProc\config 下找到 esProc 配置文件 raqsoftConfig.xml,同样部署到 Java 开发环境的类路径下。 下面是运行结果:这里只是以一个简单的分组汇总来说明 esProc 在 Java 应用中完成冷热混算的过程,esProc 的计算能力还远不止于此,尤其擅长复杂计算。 任何数据源对 esProc 都是等同的,只要能访问到就能混算,同构异构都可以,这就意味着冷数据可以采用任意存储(比如文件系统)通过 esProc 都能实现冷热数据混算。

    23100编辑于 2025-04-14
  • 来自专栏信息技术智库

    Python Pandas PK esProc SPL,谁才是数据预处理王者?

    业界有很多免费的脚本语言都适合进行数据准备工作,其中Python Pandas具有多种数据源接口和丰富的计算函数,受到众多用户的喜爱;esProc SPL作为一门较新的数据计算语言,在语法灵活性和计算能力方面也很有特色 esProc SPL的语言整体性较好,结构化数据类型更加专业,可以用简洁直观的代码实现一般的数据准备工作,包括解析不规则的数据源,表达多层数据,进行复杂的结构化数据计算,完成大数据量计算。

    4.1K20编辑于 2022-09-26
  • 来自专栏数据计算

    esProc SPL 和 Mongodb 简直是个绝配

    esProc SPL 就简单多了,SPL 可以直接对 MongoDB 的数据进行 SQL-style 的计算! esProc SPL 甚至允许直接用 SQL 语法:$select TOP 10 Customer, SUM(Amount) AS TotalAmount from {mongo_shell@d(mongo_open Class.forName("com.esproc.jdbc.InternalDriver");Connection con= DriverManager.getConnection("jdbc:esproc 美中不足的是,esProc SPL 是 Java 开发的,Python/C++ 等其他语言调用得使用 HTTP 接口,不像 Java 应用那样可以无缝集成。

    20200编辑于 2025-05-21
  • esProc SPL 相当于有了 Python 加持的 DuckDB

    对于桌面数据分析用户,如果说 DuckDB 是轻巧灵活的 "SQL 瑞士军刀",那 esProc SPL 简直就是自带 Python 技能的 "全能工具箱",既保留 SQL 的便捷,又突破 SQL 的天花板 和 DuckDB 一样,esProc SPL 对文件处理的支持相当到位。CSV、Excel 这类常见格式直接当数据库用,直接就能跑 SQL。 和 DuckDB 类似,esProc 也支持数据的二进制化,不过是存成文件的,压缩比很好,加载百万行数据秒开,比直接读 CSV 快三倍不止。 esProc 的 SQL 目前不支持窗口函数,不如 DuckDB 完善。不过 esProc 有个杀手锏是它的原生语言 SPL,处理复杂任务要比 SQL 简单很多,其实也用不着再写挠头的窗口函数了。 而 esProc SPL 则直接把 Python 的核心能力内置了。

    63621编辑于 2025-03-10
  • 来自专栏数据分析

    怎样用 esProc 计算来自 Restful 的多层 json 数据

    esProc 会简单很多,不仅能对接 Restful 接口,擅长处理多层数据,还能嵌入 Java 应用使用,可以作为应用内计算引擎使用。可先往乾学院下载 esProc 标准版,它是免费的! P004", "name": "Smart Watch", "category": "Wearables" } } ] },…]编写 esProc 从 [esProc 安装目录]\esProc\lib 目录下找到 esProc JDBC 相关的 jar 包:esproc-bin-xxxx.jar、icu4j_60.3.jar。 再从目录 [esProc 安装目录]\esProc\config 下找到 esProc 配置文件 raqsoftConfig.xml,同样部署到 Java 开发环境的类路径下。 下面是运行结果:总结一下,用 esProc 处理 Restful 接口的 json 数据,既能简化多层结构的解析和计算,又能轻松嵌入 Java 程序,可作为应用内计算引擎使用。

    35300编辑于 2025-04-17
  • 来自专栏数据分析

    如何用 esProc 将数据库表转储提速查询

    数据量大或者数据库繁忙都会导致数据库查询变慢,这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 安装 esProc先去乾学院 下载免费的 esProc 标准版。安装后,配 MySQL 数据库连接。 转储为 CTX除了 btx,esProc 还提供了轻量级的列存二进制文件格式 ctx。 这里仅给出 esProc 的代码实现,来感受其语法的简洁和完善性。 如果要处理新数据,就需要用 esProc 的混合运算了,这里不再展开,可以参考乾学院材料。

    60000编辑于 2025-04-23
  • 来自专栏数据计算

    怎样做多数据源的混合计算

    面对多数据源上的混合计算问题,esProc SPL 才是个好方法。 esProc SPL 是纯 Java 开发的开源计算引擎。 esProc SPL 怎么解决这个问题呢?主要是两个方面。 1. 感兴趣的小伙伴可以参考 esProc SPL 官网上的材料。 有了 esProc SPL 这种混合数据源计算能力,这个问题就可以轻松解决了。 那么,esProc SPL 写出来的代码如何集成到应用程序中呢? Class.forName("com.esproc.jdbc.InternalDriver"); Connection conn =DriverManager.getConnection("jdbc:esproc

    44620编辑于 2023-12-21
  • 来自专栏数据计算

    TP 库太撑就上 AP 库吗?

    esProc SPL 是个更轻量级且进退自如的解决方案。esProc SPL 并不是一个数据库。但它拥有高计算性能,可以起到 AP 库的作用。 esProc SPL 严格地说并不是一个数据库,而是个专业的计算引擎。它直接使用文件存储数据。esProc 没有“库”的概念,也就没有入库出库和库内库外的说法。 这样,我们可以轻松自如地将计算业务逐步从 TP 库中迁移到 esProc 中(其实,“esProc 中”这个说法并不贴切,正确说法是由 esProc 承担计算任务。 所以说,esProc 是个进退自如的方案,它不会限定用户的自由度。T+0 就更是简单。esProc SPL 是个开放的计算引擎,连逻辑数据库都不算。 这样就可以轻松实现跨源计算,特别是 TP 库和 esProc 文件之间的混合计算。T+0 是 esProc 带来的一项天然福利。esProc 没有再采用 SQL,而是有一套自己发明的程序语言 SPL。

    29000编辑于 2024-12-30
  • 来自专栏应用计算

    SPL轻量级文件存储提速查询实践

    把不再变化的历史数据存储成轻量级的 esProc SPL 列存文件,可以利用 SPL 语言的强大计算能力,跑出远超传统数据库的查询性能。 esProc SPL 很轻,直接嵌入应用就可以运行,在实现数据外置提速的同时,也不会让整个系统架构变得很复杂:这里准备了一套使用 SPL 外置数据提速查询的实践方法:第一篇 - 常规过滤及分组汇总第二篇 安装 esProc 后,试一下 IDE 是否可以正常访问数据库。 我们以 MYSQL 数据库为例,先把 MYSQL 的 JDBC 放到目录 "[安装目录]\common\jdbc",这是 esProc 的类路径之一:在 esProc 中建立 MYSQL 数据源,菜单栏选择 如果遇到问题可以前往乾学院查阅教程和函数参考:实践使用的测试环境是 VMWARE 虚拟机,8 核 CPU,8G 内存,SSD 硬盘,操作系统是 Win11,MYSQL 版本是 8.0,esProc SPL

    23010编辑于 2025-08-26
  • 来自专栏数据计算

    从 ES Kafka Mongodb Restful ... 取到 json 之后

    esProc SPL 来帮你。esProc SPL 是纯 Java 开发的开源计算引擎,可前往前需要了解更多! ").read()2=json(A1)SPL 序表天然多层结构,即字段取值可以是另一个序表,这和 json 天然契合:一旦转换成 SPL 序表之后,计算本身就是 esProc 的强项了。 esProc SPL 已经封装了很多常见的 json 数据源的访问接口。 那么,esProc SPL 写出来的代码如何集成到应用程序中呢?很简单,esProc 提供了标准的 JDBC 驱动,被 Java 程序引入后,就可以使用 SPL 语句了,和调用数据库 SQL 一样。 Class.forName("com.esproc.jdbc.InternalDriver");Connection conn =DriverManager.getConnection("jdbc:esproc

    34010编辑于 2024-11-21
  • 来自专栏HelloGitHub

    SQLite 的挑战者

    esProc SPL 可以解决这一切。 esProc 也是个免费开源的软件,在这里 https://github.com/SPLWare/esProcesProc 是纯 Java 开发,把 jar 包直接引入到 Java 应用程序中就可以使用了,完全无缝集成。 esProc 也提供了标准 JDBC 接口,就像访问数据库一样可以被 Java 主程序调用,只不过 esProc 使用的查询语言称为 SPL,而不是 SQL。 Class.forName("com.esproc.jdbc.InternalDriver"); Connection conn =DriverManager.getConnection("jdbc:esproc GitHub:https://github.com/SPLWare/esProc

    32110编辑于 2023-12-14
  • 来自专栏数据计算

    esProc在 csv 文件上执行 SQL

    esProc SPL 支持简单 SQL,可以直接在 csv 等结构化文本文件上执行 SQL 语句,这样,不用数据库也可以用 SQL 计算了。 先前往乾学院下载 esProc SPL 推荐用标准版,找到相应版本下载后安装即可。准备好一个格式标准的 csv 文件。 执行后可以可看到结果:esProc 将自动用序号表示列名。类似地,不同分隔符的文本,也可以用 SPL 原生语法读出。 不过问题也不大,窗口函数写起来本来也很繁琐,esProc 的原生 SPL 语法要来比窗口函数简单多了,也就没太大必要再支持窗口函数了。 esProc 还可以命令行的方式执行 SQL,比如上面的 GROUP BY:除了文本文件,esProc 的 SQL 还支持 XLS\MongoDB\restful json 等数据源,用法都差不多,感兴趣者可移步乾学院社区

    44400编辑于 2025-03-17
  • 来自专栏数据分析

    如何简单计算来自 Restful 的多层 json 数据

    esProc 会简单很多,不仅能对接 Restful 接口,擅长处理多层数据,还能嵌入 Java 应用使用,可以作为应用内计算引擎使用。先到乾学院下载免费的 esProc 标准版。 服务器以 Session 或 Cookie 保存身份认证服务器返回 Token应用集成下面把 esProc 集成到 Java 应用中。 从 [esProc 安装目录]\esProc\lib 目录下找到 esProc JDBC 相关的 jar 包:esproc-bin-xxxx.jar、icu4j_60.3.jar。 再从目录 [esProc 安装目录]\esProc\config 下找到 esProc 配置文件 raqsoftConfig.xml,同样部署到 Java 开发环境的类路径下。 下面是运行结果:总结一下,用 esProc 处理 Restful 接口的 json 数据,既能简化多层结构的解析和计算,又能轻松嵌入 Java 程序,可作为应用内计算引擎使用.

    60310编辑于 2025-04-25
  • 来自专栏编程技术宇宙

    SQLite 遇到对手啦!

    esProc SPL 可以解决这一切。 esProc 也是个免费开源的软件,在这里 https://github.com/SPLWare/esProcesProc 是纯 Java 开发,把 jar 包直接引入到 Java 应用程序中就可以使用了,完全无缝集成。 esProc 也提供了标准 JDBC 接口,就像访问数据库一样可以被 Java 主程序调用,只不过 esProc 使用的查询语言称为 SPL,而不是 SQL。 Class.forName("com.esproc.jdbc.InternalDriver"); Connection conn =DriverManager.getConnection("jdbc:esproc GitHub:https://github.com/SPLWare/esProc

    26110编辑于 2023-12-18
领券