- 综合排序
- 最热优先
- 最新优先
- 来自专栏大飞的部落阁
Arrow时间处理神器
关于 Arrow 我们在日常的工作中，经常会对时间对象进行处理，但是内置的库处理时间和日期都稍显复杂，不是很优雅。今天我们为大家介绍一个简单易用的处理时间的库 Arrow。 import arrow utc = arrow.utcnow() print(utc) # 将utc时间转化为本地时间+8 print(utc.to('local')) locatime2utc # 本地当前时间 print(arrow.now()) print((arrow.now()).to('utc')) 时间解析 get 方法用来解析时间。 import time,arrow # 时间戳转解析为localtime print(time.time()) print(arrow.get(time.time(),tzinfo='local')) # 格式化时间解析 tmStr = '2021-7-21 19:24:12' print(arrow.get(tmStr)) 格式化时间 # 格式化时间 now = arrow.now() year
51610编辑于 2022-06-17 - 来自专栏自译文章/自学记录
The this parameter in arrow function - Arrow function中的this参数
因为书中对于arrow function中this的解释，我也不是很理解。 当我们调用arrow functions时，它们没有自己的隐式的this参数；它们只记得 在创建它们时 this参数的值。 DOCTYPE html> <html> <head> <title>Using arrow functions to work around callback function contexts< Arrow functions没有this arguments这些参数。当Arrow functions被创建时，this参数是在enclosing scope中被找到的。 ---- 所以说，书中的话并不是那么的准确：arrow functions don’t get their own implicit this parameter when we call them;
1.2K20发布于 2019-08-26 - 来自专栏光城(guangcity)
Arrow HashJoin限制
Arrow HashJoin限制 0.背景 最近在测试一些大数据量的HashJoin计算，例如：用户层设置batch数为600000，那么会导致crash。 // crash point ARROW_DCHECK(num_rows > 0 && num_rows <= (1 << 15)); 为了研究这个值，于是写下个这篇文章。 2.布隆过滤器 自Arrow 9.0版本后，新增HashJoin的BF功能，在执行计划上新增PrepareToProduce接口，该接口会在每个节点开始Produce之前做一些准备工作，目前只用在HashJoin // TODO(ARROW-15732) // Each side of join might have an IO thread being called from.
43330编辑于 2023-09-02 - 来自专栏祝威廉
PySpark 通过Arrow加速
("spark.sql.execution.arrow.enabled", "true") 你也可以在submit命令行里添加。 那么Arrow是如何加快速度的呢？ 主要是有两点： 序列化友好 向量化 序列化友好指的是，Arrow提供了一个内存格式，该格式本身是跨应用的，无论你放到哪，都是这个格式，中间如果需要网络传输这个格式，那么也是序列化友好的，只要做下格式调整 向量化指的是，首先Arrow是将数据按block进行传输的，其次是可以对立面的数据按列进行处理的。这样就极大的加快了处理速度。 Execution time max: 6.716, average: 6.716 然后同样的代码，我们把arrow设置为true,是不是会好一些呢?
2.2K20发布于 2019-02-27 - 来自专栏生信探索
使用Arrow管理数据
arrow.apache.org Apache Arrow defines a language-independent columnar memory format for flat and hierarchical R install.packages("arrow") library(arrow) # write iris to iris.arrow and compressed by zstd arrow::write_ipc_file (iris,'iris.arrow', compression = "zstd",compression_level=1) # read iris.arrow as DataFrame iris=arrow ) using Arrow, DataFrames # read iris.arrow as DataFrame iris = Arrow.Table("iris.arrow") |> DataFrame # write iris to iris.arrow, using 8 threads and compressed by zstd Arrow.write("iris.arrow",iris,compress
67720编辑于 2023-04-17 - 来自专栏一个会写诗的程序员的博客
Apache Arrow 简介
经过一系列的研究，我们最终决定采用Apache Arrow作为我们新的结果集序列化方式。这篇文章对arrow进行了一些简单的介绍，并且反思了arrow想解决的一些问题。 Apache Arrow是什么 数据格式：arrow 定义了一种在内存中表示tabular data的格式。这种格式特别为数据分析型操作（analytical operation）进行了优化。 不仅如此，Arrow还定义了IPC格式，序列化内存中的数据，进行网络传输，或者把数据以文件的方式持久化。 开发库：arrow定义的格式是与语言无关的，所以任何语言都能实现Arrow定义的格式。 arrow项目为几乎所有的主流编程语言提供了SDK 说到这里，大家大概都明白了arrow其实和protobuf很像，只不过protobuf是为了structured data提供内存表示方式和序列化方案 arrow序列化的对象主要还是表格状数据。 What is Arrow?
3K30编辑于 2022-01-27 - 来自专栏光城(guangcity)
Apache Arrow Acero执行引擎
Apache Arrow流执行引擎 对于许多复杂的计算，在内存或计算时间内，连续的计算函数的直接调用都是不可行的。 为了更加有效的提高资源使用率、促进多批数据的消费，Arrow提供了一套流式执行引擎，称为Acero。 如果自己要在Arrow里面实现一个新算子，如物化、MergeJoin等算子，我们需要如何实现？ 本节将以最复杂的HashJoin算子为例，拆解其实现原理，便于快速上手。 涉及的内容非常庞杂，可以说把HashjoinNode实现出来，对于Arrow的整个框架基本可以覆盖了(当然还有ipc/kernel等)。 因为在最外面一直在等当前节点处理完，可以没处理完，就死循环了，不过arrow的Future有超时控制。InputeFinished需要做两件事情： 第一：通知下游节点你可以结束了。
98720编辑于 2023-09-02 - 来自专栏生信探索
使用Arrow管理数据
Format https://arrow.apache.org Apache Arrow defines a language-independent columnar memory format for R install.packages("arrow") library(arrow) # write iris to iris.arrow and compressed by zstd arrow::write_ipc_file (iris,'iris.arrow', compression = "zstd",compression_level=1) # read iris.arrow as DataFrame iris=arrow ) using Arrow, DataFrames # read iris.arrow as DataFrame iris = Arrow.Table("iris.arrow") |> DataFrame # write iris to iris.arrow, using 8 threads and compressed by zstd Arrow.write("iris.arrow",iris,compress
51540编辑于 2023-04-03 - 来自专栏逸繁
Arrow模块生成时间
使用属性名称绝对设置其值： >>> import arrow >>> arw = arrow.utcnow() >>> arw <Arrow [2013-05-11T22:27:34.787885+00 使用多个属性名称相对地移动它们的当前值： >>> import arrow >>> arw = arrow.utcnow() >>> arw <Arrow [2013-05-11T22:27:34.787885 >>> arrow.utcnow() <Arrow [2013-05-09T03:32:36.186203+00:00]> >>> arrow.utcnow().span('hour') (<Arrow ]>) floor(frame) 返回一个新Arrow对象，表示Arrow给定时间范围内对象的时间跨度的“下限” 。 >>> arrow.utcnow().floor('hour')Usage: <Arrow [2013-05-09T03:00:00+00:00]> ceil(frame) 返回一个新Arrow对象，表示
1.6K40发布于 2019-09-11 - 来自专栏光城(guangcity)
Apache arrow顶级项目调试
Apache arrow顶级项目调试 arrow官方从7.x版本开始提供了一个gdb工具，叫做gdb_arrow.py，可以在仓库里面下载下来。 调试原理可以阅读之前写的文章： 玩转C++调试之Python的GDB库增强 使用办法非常简单，直接： source /code/arrow/cpp/gdb_arrow.py 如果在gdb里面source 例如： File "/code/arrow/cpp/gdb_arrow.py", line 60 f'from GDB\'s response:\n"""{s}"""') ^ SyntaxError fields = {["fd0"] = arrow::int32(), ["fd1"] = arrow::uint8(), ["fd2"] = arrow::int16()} 再试试batch 以后调试arrow又更加方便了。
42720编辑于 2023-09-14 - 来自专栏喵叔's 专栏
快速入门 Arrow 日期处理库
Arrow 的出现，为上述问题带来了解决方案。下面我们就来讲解一下 Arrow 相关的知识。 一、安装 pip install arrow 二、使用 获取日期 Arrow 获取日期主要使用三种方法：获取本地日期、获取格林尼治标准日期日期。 获取本地日期 import arrow local = arrow.now() print(local) 输出结果如下： ? 获取格林尼治标准日期 import arrow utc = arrow.utcnow() print(utc) 输出结果如下： ? 2. 常用方法和属性 Arrow 常用的方法和属性有转化日期方法、日期时间加减方法、格式化方法和获取时间戳属性 转化日期方法 import arrow local = arrow.now() print(
72440发布于 2020-09-08 - 来自专栏光城(guangcity)
Apache Arrow kernel设计与实现
Arrow kernel设计与实现 1.什么是kernel 最近在实现几个自定义的Arrow Kernel，需要非常了解Arrow源码，里面的代码设计是什么样子，怎么快速上手，如何高度自定制开发，里面有哪些比较有意思的设计等等问题 Arrow是一个列存格式，同时也有一个streaming execution engine，整个执行器的Plan节点，可以拆分为Source、Sink、Agg、Proj、Filter等等。 以Agg为例，对于PostgreSQL来说Agg可以分为两阶段，PartialAgg与FinalAgg，而在Arrow这边只有一个mean运算，也就是一次聚集。 对于Arrow来说，使用Agg便是往AggOption里面设置一个mean函数，这个函数直接得到的是一个avg结果，跟我们的预期不符，因此需要拆分为： avg_trans（第一阶段） 输入为任意类型，输出为 struct<sum, count> avg_final（第二阶段） 输入为struct<sum, count>，输出为avg结果 由于Arrow在每个阶段支持consume->merge->finalize
55530编辑于 2023-09-02 - 来自专栏python3
python+arrow按月生成表
按月生成全部表(table_20150101,table_20150201,table_20150301,table_20150401...) python + arrow pip install arrow import arrow start = arrow.get('2015-01-01','YYYY-MM-DD') end = arrow.get('2015-12-31','YYYY-MM-DD') for dt in arrow.Arrow.range('month', start, end): print(dt.format('YYYYMMDD'))
67020发布于 2020-01-08 - 来自专栏EDI电子数据交换知识分享
如何读懂Arrow EDIFACT INVRPT库存报告？
Arrow INVRPT 库存报告是什么样子的？ 我们先通过下图直观地看一下 EDI 报文结构 ?
55360编辑于 2022-04-06 - 来自专栏站长的编程笔记
ES6 箭头函数 Arrow Function
前言 ---- ES6 新增了一种新的函数: 箭头函数 Arrow Function 箭头函数相当于匿名函数，简化了函数定义，将原函数的 function 关键字和函数名都删掉，并使用 => 连接参数和函数体
43310编辑于 2022-12-28 - 来自专栏全栈程序员必看
JavaScript ES6 Arrow Functions（箭头函数）
介绍 第一眼看到ES6新增加的 arrow function 时，感觉非常像 lambda 表达式。 那么arrow function是干什么的呢？可以看作为匿名函数的简写方式。 语法 arrow functions(箭头函数)主要有以下4种语法： // 1)基本 (param1, param2, paramN) => { expression } (param1, param2 特性 3.1 没有自身this arrow function没有自身的this，即在arrow function内部使用this时，此this指向创建此函数时的外部this。 场景：在Web开发时都会用到ajax的回调，回调函数内的this常常用外部创建的self、that、_this等变量暂存，而当回调函数采用arrow function方式时就可以直接使用外部的this。 function作为某个对象的方法成员时，this指向非此对象 当某个对象的方法为arrow function时，那么此方法内的this指向并非是此对象。
58210编辑于 2022-07-20 ES|QL in JavaScript: 利用 Apache Arrow 助手功能
ES|QL 查询支持构建多种格式的响应，如 JSON、CSV、TSV、YAML、Arrow 和二进制。 什么是 Apache Arrow？Apache Arrow 是一种列式数据分析工具，其格式在现代编程环境中不受编程语言的限制。 来源: https://arrow.apache.org/overview/在这篇文章中可以了解如何结合 ES|QL 使用 Arrow。 如果您的应用程序已经在使用 Arrow 数据，toArrowTable 也是一个不错的选择，因为无需序列化数据。此外，由于 Arrow 是语言无关的，您可以在任何平台和语言中使用它。 在这篇文章中，我们学习了如何使用 ES|QL 客户端助手将 Elasticsearch 响应解析为 Arrow Reader 或 Arrow Table。
18810编辑于 2025-06-17- 来自专栏EDI技术知识
对接艾睿电子Arrow EDI项目案例
供应商将物料产品发给艾睿电子 Arrow ，艾睿电子 Arrow 代为销售。供应商会根据艾睿电子 Arrow 实际的库存消耗数量（即实际的售出数量）开具发票，艾睿电子 Arrow 再根据发票进行付款。 生产好的产品发给艾睿电子 Arrow ，再将发货通知和发票一起回传给艾睿电子 Arrow ，艾睿电子 Arrow 就可以根据发货通知中的信息，联系自己的货代去拉货，并根据发票进行付款。 E 公司发给艾睿电子 Arrow ：1.E公司给艾睿电子 Arrow 发送文件，只需要 ERP 系统将指定的业务数据存放至中间数据库中，EDI系统将自动抓取数据。 项目成果与艾睿电子 Arrow 的 EDI 对接，示例工作流如下：? 举例：若Arrow 发起取消订单的订单变更，E公司接受Arrow取消订单，则回复2； 若Arrow发起订单变更，E公司不接受数量、交期的变更或者取消订单，则回复7。
88740编辑于 2022-09-15 - 来自专栏前端达人
【ES6基础】箭头函数（Arrow functions）
ES6中，除了let和const新特性，箭头函数是使用频率最高的新特性了。如果你曾经了解如日中天的JavaScript衍生语言CoffeeScript, 就会清楚此特性并非ES6独创。箭头函数顾名思义是使用箭头（=>）定义的函数，属于匿名函数一类。
1.1K30发布于 2019-03-03 - 来自专栏EDI技术知识
艾睿电子Arrow EDI ORDERS订单解读
艾睿电子Arrow与其供应商之间，传输EDIFACT标准的报文，具有两种业务模式：AOI(Arrow Owned Inventory)模式和SOI(Supplier Owned Inventory)模式又称为 无论供应商采用了以上哪种业务模式，都需要接收来自艾睿电子Arrow发来的ORDERS订单。在此前的文章如何读懂EDIFACT报文？ 以下是经知行之桥EDI系统转换前后的对比图： ORDERS示例订单解读 艾睿电子Arrow会给供应商发送EDIFACT标准的EDI ORDERS订单，其中UNA是可选的，而第二行的UNB以及最后一行的 ORDERS test flies.edifact 下载转换后的测试文件：在 Arrow_ORDER_IN 端口的 输出 选项卡下，点击 Arrow ORDERS test files.xml ，即可下载文件 以上是对接收艾睿电子 Arrow EDI ORDERS报文的解读以及转换的详细介绍，了解更多 艾睿电子 Arrow 的EDI报文信息，欢迎交流。 更多EDI信息，请参阅: EDI是什么？ 阅读原文
56430编辑于 2022-05-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号