首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >火花+ cassandra (JAVA代码)的性能相关问题

问火花+ cassandra (JAVA代码)的性能相关问题
EN

Stack Overflow用户
提问于 2020-07-21 13:29:59
回答 1查看 60关注 0票数 1

我使用卡桑德拉作为我的垃圾场,我有多个工作运行,以处理数据和更新不同的系统。下面是与工作相关的筛选器

工作1.基于active_flag、update_date_time和expiry_time的数据过滤器,并对过滤后的数据进行处理。

工作2.基于update_date_time的数据过滤器处理数据

作业3.基于created_date_time和活动标志的数据过滤器

条件将在其中运行的db列(一个查询中的一个或多个列)

yes/no

  • created_date timestamp

  • expiry_time timestamp

  • updated_date timestamp

  • updated_date ->时间戳

我对这些条件的问题是:-

  1. 我该如何形成我的卡桑德拉主键?因为我看不出有任何方法可以在这个问题上实现唯一性(id是存在的,但我不需要处理数据)。

如果使用表扫描对火花代码进行筛选,

  1. 甚至需要主键吗?

考虑到这对数百万记录的处理。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-07-31 11:31:12

回答您的问题-您需要有一个主键,即使它只包含分区键:)

更详细的答案实际上取决于这些作业运行的频率、总体数据的数量、集群中的节点数、使用的硬件等等。通常,我们试图尽可能多地对Cassandra进行过滤,因此它只返回相关数据,而不是所有数据。最有效的过滤是在第一个集群列上进行的,例如,如果我只想处理新创建的条目,那么我可以使用具有以下结构的表:

代码语言:javascript
复制
create table test.test (
  pk int,
  tm timestamp,
  c2 int,
  v1 int,
  v2 int,
  primary key(pk, tm, c2));

然后,我只能通过以下方法获取新创建的条目:

代码语言:javascript
复制
import org.apache.spark.sql.cassandra._
val data = spark.read.cassandraFormat("test", "test").load()
val filtered = data.filter("tm >= cast('2019-03-10T14:41:34.373+0000' as timestamp)")

或者,我可以在给定的时间内获取条目:

代码语言:javascript
复制
val filtered = data.filter("""ts >= cast('2019-03-10T14:41:34.373+0000' as timestamp)
  AND ts <= cast('2019-03-10T19:01:56.316+0000' as timestamp)""")

可以通过在数据上执行explain来检查过滤下推的效果,并检查PushedFilters部分-标记为*的条件将在卡桑德拉侧执行.

但是,设计表以匹配所有查询并不总是可能的,因此您需要为最经常执行的作业设计主键。在您的例子中,update_date_time可能是一个很好的选择,但是如果您将它作为集群列,那么您需要在更新它时小心--您需要以批处理的形式执行更改,如下所示:

代码语言:javascript
复制
begin batch
delete from table where pk = ... and update_date_time = old_timestamp;
insert into table (pk, update_date_time, ...) values (..., new_timestamp, ...);
apply batch;

或者类似这样的东西。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/63015618

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档