我一直在尝试使用BigTable和BigQuery的连接器。当我尝试从100万行测试查询性能时,我得到了查询速度~50秒的结果。我的SQL:
SELECT
DATE(geo_table_cell.timestamp) AS day,
geo_table_cell.value,
COUNT(*) AS countNumber
FROM
`project-dev.project_dev_bt_eu.dev-project`,
UNNEST(geo.COLUMN) AS geo_table,
UNNEST(geo_table.cell) AS geo_table_cell
WHERE
geo_table.name = 'cc'
AND rowkey LIKE 'profile%'
GROUP BY
geo_table_cell.value,
DATE(geo_table_cell.timestamp)我的问题是:
发布于 2021-06-02 14:19:32
1.-如果查询速度是必需的,将加载数据转换为BigQuery而不是设置外部数据源将是最有效的方法。然而,您可以做一些事情来改进BigQuery或BigTable性能。
2.-这个连接器仍然处于Beta阶段,并且有一些业绩考虑。我们还应该考虑到,BigTable是一个noSQL (非关系数据库),而不是用于查询的。如果您正在探索您想要在应用程序中使用的数据模型,我建议您考虑使用所有这些选择,并选择一个更适合您的需求的模型。
3.-如果您想使用SQL查询数据,我想说这不是一个好的选择。了解BigTable的非关系体系结构,最有效的读取数据的方法是发送读取请求。您可以在正式文件中以不同的语言找到有关此问题的一些代码示例。
https://stackoverflow.com/questions/67737062
复制相似问题