首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >BigTable聚合数据

BigTable聚合数据
EN

Stack Overflow用户
提问于 2021-05-28 10:18:51
回答 1查看 368关注 0票数 0

我一直在尝试使用BigTable和BigQuery的连接器。当我尝试从100万行测试查询性能时,我得到了查询速度~50秒的结果。我的SQL:

代码语言:javascript
复制
    SELECT
            DATE(geo_table_cell.timestamp) AS day,
            geo_table_cell.value,
            COUNT(*) AS countNumber
        FROM
            `project-dev.project_dev_bt_eu.dev-project`,
            UNNEST(geo.COLUMN) AS geo_table,
            UNNEST(geo_table.cell) AS geo_table_cell
        WHERE
            geo_table.name = 'cc'
            AND rowkey LIKE 'profile%'
        GROUP BY
            geo_table_cell.value,
            DATE(geo_table_cell.timestamp)

我的问题是:

  1. 来自BigTable的聚合数据的最佳解决方案是什么?(来自ElasticSearch的相同聚合时间不到2秒)
  2. 为什么BigQuery用BigTable连接器来减慢速度?
  3. 如果我理解正确的BigTable,不太好的选择,目前的数据仪表板(过滤器工作非常缓慢);
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-06-02 14:19:32

1.-如果查询速度是必需的,将加载数据转换为BigQuery而不是设置外部数据源将是最有效的方法。然而,您可以做一些事情来改进BigQueryBigTable性能。

2.-这个连接器仍然处于Beta阶段,并且有一些业绩考虑。我们还应该考虑到,BigTable是一个noSQL (非关系数据库),而不是用于查询的。如果您正在探索您想要在应用程序中使用的数据模型,我建议您考虑使用所有这些选择,并选择一个更适合您的需求的模型。

3.-如果您想使用SQL查询数据,我想说这不是一个好的选择。了解BigTable的非关系体系结构,最有效的读取数据的方法是发送读取请求。您可以在正式文件中以不同的语言找到有关此问题的一些代码示例。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/67737062

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档