腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
搜索
关闭
文章
问答
(9999+)
视频
开发者手册
清单
用户
专栏
沙龙
全部问答
原创问答
Stack Exchange问答
更多筛选
回答情况:
全部
有回答
回答已采纳
提问时间:
不限
一周内
一月内
三月内
一年内
问题标签:
未找到与 相关的标签
筛选
重置
1
回答
ksqldb的自定义
udaf
函数
是否保证并发(线程安全)?
我正在运行5个ksqldb实例(K8s),每个实例线程(ksql服务器属性) num是3我还有一个问题,我目前正在k8s环境中运行一个ksqldb实例。即使在重新启动的情况下,ksqldb的表聚合数据也能正常工作而不会丢失吗?
浏览 9
提问于2022-03-29
得票数 0
1
回答
Pyspark -用于分组的
UDAF
函数
由两个日期列组成,
UDAF
用于计算实际值和预测值之间的RMSE
我认为它需要一个用户定义的聚合
函数
。
浏览 31
修改于2020-04-12
得票数 1
回答已采纳
1
回答
在Vertica 7中安装group_concat
UDAF
聚合
函数
我想安装Vertica 7中预装的
UDAF
字符串
函数
,特别是group_concat。 我之前在Vertica 6中安装了这个,但情况似乎有了一些变化。
浏览 0
提问于2015-12-15
得票数 0
1
回答
如何在PySpark中将sql
函数
与
UDAF
组合/链接
我正在尝试在PySpark中的Spark dataframe上使用一组预定义的sql
函数
以及我自己的
UDAF
。df.columns当我尝试将我的自定义
函数
与其他
函数
一起使用时Wrap '(avg(CAST(DBN AS DOUBLE)作为窗口
函数
中的avg(DBN)或将'DBN‘包装在first() (或first_
浏览 3
提问于2019-11-15
得票数 0
1
回答
如何将数组传递给星火中的用户定义的聚合
函数
(
UDAF
)
我想将Array作为输入模式传递到一个
UDAF
中。 我给出的例子非常简单,它只是两个向量之和。实际上,我的用例更复杂,我需要使用一个联新议程。
浏览 0
修改于2019-06-01
得票数 0
回答已采纳
1
回答
如何将变量传递给
UDAF
(自定义聚合
函数
)
'groupby_key'] 无法调用split
函数
我想将validation_period作为参数传递给拆分
函数
。
浏览 5
提问于2020-09-21
得票数 0
1
回答
PyFlink
UDAF
InternalRow与行
我正在尝试通过PyFlink中的自定义
UDAF
调用外部
函数
。我使用的
函数
要求数据在字典对象中。我尝试使用row(t.rowtime, t.b, t.c).cast(schema)来达到这样的效果。在
UDAF
之外,这个表达式工作得很好。在
UDAF
中,此表达式被转换为InternalRow,而不能转换为字典对象。 有没有办法强制使用Row而不是InternalRow?import row, col, lit, row_interval from pyflink.table.window import Tumb
浏览 43
提问于2021-06-18
得票数 1
回答已采纳
1
回答
Apache -如何在3之后定义UserDefinedAggregateFunction?
我正在使用Spark3.0,为了使用用户定义的
函数
作为窗口
函数
,我需要一个UserDefinedAggregateFunction实例。最初,我认为使用新的Aggregator和
udaf
可以解决这个问题(如所示),但
udaf
返回的是UserDefinedFunction,而不是UserDefinedAggregateFunction。所以问题是:在Spark3.0中是否有一种正确(不反对)的方法来定义适当的UserDefinedAggregateFunction并将其用作窗口
函数
?
浏览 3
修改于2021-03-26
得票数 2
回答已采纳
1
回答
Apache Spark SQL中的moving median as a window function (
UDAF
)
我正在尝试将"moving median“
函数
实现为一个窗口
函数
,以便在Apache Spark SQL中使用它。1)作为SQL查询:... timeSeries.registerTempTablemetrics_name order by time_column) from time_
浏览 2
提问于2016-06-06
得票数 2
1
回答
如何在PySpark中定义用户定义的聚合
函数
?
我想要使一个用户定义的聚合
函数
在吡火花。我为找到了一些文档,并希望在Python中实现类似的功能。更确切地说,假设我已经实现了这样一个
函数
: ...# do something very complicated heresource_df.groupBy("Foo_ID").agg(
UDAF
(process_data)) 现在的问题是-我应该用什么来代替
UDAF</e
浏览 7
提问于2022-09-22
得票数 0
2
回答
在spark sql中注册
UDAF
我想注册一个
UDAF
类(用Scala或Python编写),并在Spark SQL中使用它。例如:// mock code:...然后我可以直接在spark sql中使用
udaf
,如下所示: spark.sql("select
浏览 2
提问于2019-02-01
得票数 1
2
回答
PySpark SQL中的用户定义聚合
函数
如何在PySpark SQL中实现用户定义的聚合
函数
?pyspark version = 3.0.2作为一个最小的例子,我想用一个
UDAF
替换AVG聚合
函数
:sqltoPandas()In [2]: rv id avg(value)1 2 3.5rv = sql.sql
浏览 24
修改于2021-03-10
得票数 4
回答已采纳
1
回答
pyspark中的first_value窗口
函数
我正在使用pyspark 1.5从Hive表中获取数据,并尝试使用窗口
函数
。 根据的说法,存在一个名为firstValue的分析
函数
,它将为给定窗口提供第一个非空值。鉴于pyspark不支持UserDefinedAggregateFunctions (
UDAF
),有没有办法实现这一点?
浏览 4
修改于2017-12-26
得票数 6
回答已采纳
2
回答
在Spark中聚合行对象
11}]} | | 2 | {order_id: 2, items: [{item_id: 3, price: 12}, {item_id: 4, price: 13}]} | 最初我认为
UDAF
可以做到这一点,但当我实现一个聚合器
UDAF
函数
时,我不确定在merge方法中返回什么,因为如果order id不同,它们就不能被合并。
浏览 26
修改于2021-09-18
得票数 1
1
回答
返回Struct \多个列的Java Spark
我正在编写一个
UDAF
聚合
函数
,我想返回一个数据类型,它要么是一个具有列名的结构(例如,开始和结束都是长类型),要么是2列。 在计算
函数
中,尝试返回一个映射类型和一个数组,但这不是我所期望的。
浏览 5
修改于2017-07-07
得票数 1
2
回答
将在星火数据集中/Dataframe中第一次排序的行合并
假设我们在星火中有一个dataset/dataframe,其中有3列ID,Word,Timestampdf.show() 1 | "I am Jessica" | "2017-1-1 00:01" | "2017-1-1 00:03" | 问题是如何确保在我的Words中按正确的顺序合并列
UDAF
浏览 0
修改于2017-06-06
得票数 1
回答已采纳
4
回答
如何在不使用
udaf
的情况下创建映射列来计算出现次数
1|[a -> 2.0, b -> 1.0]|+---+--------------------+ 目前,在Spark 2.4.6中,我能够使用
udaf
当我碰到Spark3时,我想知道我是否可以摆脱这个
udaf
(我尝试使用新方法aggregate,但没有成功)。 有没有一种有效的方法来做到这一点?(对于效率部分,我可以很容易地进行测试)
浏览 55
提问于2020-10-14
得票数 3
回答已采纳
1
回答
表达式不在具有
UDAF
的GROUP BY键中
我的
UDAF
返回一个数组,但我得到的是一个SemanticException,所以这可能并不重要。ADD JAR
udaf
.jar; sum(i) i, myUDAF(f
浏览 1
修改于2016-05-29
得票数 0
1
回答
为什么星火中的collect_list不使用部分聚合
最近,我使用了
UDAF
,查看了内置聚合
函数
collect_list的源代码,发现collect_list没有实现merge方法,尽管我认为这是非常直接的(只是连接两个数组)。
浏览 0
提问于2018-02-15
得票数 1
回答已采纳
3
回答
在Scala中编写Spark
UDAF
以返回数组类型作为输出
我想为这个逻辑实现一个
UDAF
。我想把这个叫
UDAF
-+---+-------++---+-------+| 2|[D,A,C]|我正在尝试写一个
UDAF
浏览 0
修改于2018-04-05
得票数 1
第 2 页
第 3 页
第 4 页
第 5 页
第 6 页
第 7 页
第 8 页
第 9 页
第 10 页
第 11 页
点击加载更多
领券