我使用卡桑德拉作为我的垃圾场,我有多个工作运行,以处理数据和更新不同的系统。下面是与工作相关的筛选器
工作1.基于active_flag、update_date_time和expiry_time的数据过滤器,并对过滤后的数据进行处理。
工作2.基于update_date_time的数据过滤器处理数据
作业3.基于created_date_time和活动标志的数据过滤器
条件将在其中运行的db列(一个查询中的一个或多个列)
yes/no
我对这些条件的问题是:-
如果使用表扫描对火花代码进行筛选,
考虑到这对数百万记录的处理。
发布于 2020-07-31 11:31:12
回答您的问题-您需要有一个主键,即使它只包含分区键:)
更详细的答案实际上取决于这些作业运行的频率、总体数据的数量、集群中的节点数、使用的硬件等等。通常,我们试图尽可能多地对Cassandra进行过滤,因此它只返回相关数据,而不是所有数据。最有效的过滤是在第一个集群列上进行的,例如,如果我只想处理新创建的条目,那么我可以使用具有以下结构的表:
create table test.test (
pk int,
tm timestamp,
c2 int,
v1 int,
v2 int,
primary key(pk, tm, c2));然后,我只能通过以下方法获取新创建的条目:
import org.apache.spark.sql.cassandra._
val data = spark.read.cassandraFormat("test", "test").load()
val filtered = data.filter("tm >= cast('2019-03-10T14:41:34.373+0000' as timestamp)")或者,我可以在给定的时间内获取条目:
val filtered = data.filter("""ts >= cast('2019-03-10T14:41:34.373+0000' as timestamp)
AND ts <= cast('2019-03-10T19:01:56.316+0000' as timestamp)""")可以通过在数据上执行explain来检查过滤下推的效果,并检查PushedFilters部分-标记为*的条件将在卡桑德拉侧执行.
但是,设计表以匹配所有查询并不总是可能的,因此您需要为最经常执行的作业设计主键。在您的例子中,update_date_time可能是一个很好的选择,但是如果您将它作为集群列,那么您需要在更新它时小心--您需要以批处理的形式执行更改,如下所示:
begin batch
delete from table where pk = ... and update_date_time = old_timestamp;
insert into table (pk, update_date_time, ...) values (..., new_timestamp, ...);
apply batch;或者类似这样的东西。
https://stackoverflow.com/questions/63015618
复制相似问题