回答情况：
提问时间：
问题标签：
我想注册一个UDAF类(用Scala或Python编写)，并在Spark SQL中使用它。例如：// mock code:...然后我可以直接在spark sql中使用udaf，如下所示：
spark.sql("select
浏览 2提问于2019-02-01得票数 1
我正在尝试通过PyFlink中的自定义UDAF调用外部函数。我使用的函数要求数据在字典对象中。我尝试使用row(t.rowtime, t.b, t.c).cast(schema)来达到这样的效果。在UDAF之外，这个表达式工作得很好。在UDAF中，此表达式被转换为InternalRow，而不能转换为字典对象。 有没有办法强制使用Row而不是InternalRow？import row, col, lit, row_intervalfrom pyflink.ta
浏览 43提问于2021-06-18得票数 1
回答已采纳
我遇到了一个计算没有分组的count distinct的配置单元查询，它运行得非常慢。所以我想知道这个功能是如何在Hive中实现的，有没有UDAFCountDistinct来实现这个功能？
浏览 19修改于2020-09-17得票数 1
我正在尝试在Scala中将其实现为UDAF。Spark的版本是1.6.1。我尝试了两种方式调用我的UDAF (“中位数”)：val timeSeries = ... // get a DataFrametimeSeries.registerTempTable有没有办法使用UDAF作为窗口函数？例如，计算移动中位数(不是移动平均值，而是中位数)。
浏览 2提问于2016-06-06得票数 2
您可以将strconcat()替换为您已有的任何UDAF。
前一条语句按预期工作:它返回字符串'a'。
浏览 0提问于2018-08-27得票数 3
1回答
我在上读过：为了实现计数不同，蜂巢依赖于GenericUDAFCount。联合国非洲发展新议程没有专门为计数不同而实施。这些“不同的”键将是MapReduce混乱阶段的分区键的一部分，这样它们就很自然地被“区分”了。
select count(1) from (select id from tbl group
浏览 3提问于2020-01-23得票数 1
回答已采纳
我的UDAF返回一个数组，但我得到的是一个SemanticException，所以这可能并不重要。ADD JAR udaf.jar; sum(i) i, myUDAF(f
浏览 1修改于2016-05-29得票数 0
= true) |-- name: string (nullable = true) 如何将'cars‘结构传递给udaf
浏览 14提问于2019-02-04得票数 1
回答已采纳
我想为这个逻辑实现一个UDAF。我想把这个叫UDAF -+---+-------++---+-------+| 2|[D,A,C]|我正在尝试写一个UDAF
浏览 0修改于2018-04-05得票数 1
我从我的mongodb中获得了一些数据，如下所示： | view | data | | xx | *** | | xx | *** |没有必要知道里面是什么。class Extractor() extends UserDefinedAggregateFunction{
浏览 18修改于2017-03-13得票数 3
我在一些数据节点上安装了R，并且可以编写Map reduce作业来通过JRI调用R。旧的mapred作业需要我先做-Dmapred.child.env="R_HOME=/usr/lib64/R"，然后才能工作。更广泛地说，这是从hive中成功完成的：
sele
浏览 2修改于2013-05-30得票数 2
Spark version 1.6.0 on AWS EMR with Zeppelin Notebookimport org.apache.spark.sql.types
浏览 3修改于2016-03-07得票数 0
对于我的特定需求，我想编写一个UDAF，它只是简单地收集所有输入行。输入是两列行，双类型；返回的数据类型为ArrayList
我写了一个我的UDAF的“想法”，但我希望有人能帮我完成它。
浏览 1修改于2019-01-09得票数 4
回答已采纳
pyspark.sql.utils.AnalysisException: No handler for UDF/UDAF/UDTF 'org.apache.hadoop.hive.ql.udf.generic.GenericUDAFHistogramNumeric配置单元版本: 3.1.2 Spark版本: 3.0.0 如果有人在Spark 3.0.0中注册Hive UDAF时有一个适用于他们的简单代码片段，那也会非常有用
浏览 108修改于2020-09-17得票数 1
回答已采纳
我正在运行5个ksqldb实例(K8s)，每个实例线程(ksql服务器属性) num是3
我实现了udaf函数来聚合一个简单的map对象，使用这个udaf函数。
浏览 9提问于2022-03-29得票数 0
我是Scala开发的新手，正在尝试解决以下问题：App > at org.apache.spark.sql.execution.aggregate.MutableAggregationBufferImpl.update(udaf.scalacom.turner.audiencematters.udf.RespondentPairUDF.update(RespondentPairUDF.scala:65)
App &
浏览 0提问于2017-10-11得票数 2
在Spark 2中，我使用的UDAF是这样的： case class ColumnBuilderUDAF(channels: Seq[String]) extends UserDefinedAggregateFunction在Spark3中，UDAF被弃用，应该使用Aggregator。或者我仍然必须使用已弃用的UDAF？
浏览 30修改于2020-08-01得票数 0
回答已采纳
我有一个有列的表:时间戳、id和条件，我希望每隔一段时间(例如10秒)计算每个id的数量。非洲发展新议程的代码如下： public StructType inputSchema() { Arrays.asList(
Dat
浏览 12修改于2022-02-08得票数 1
回答已采纳
有人能告诉我火花1.5中collect_set的等效函数吗？这种做法是否正确： new StructType().add("inputCol", colType)
new
浏览 2修改于2016-10-12得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号