mysql表分区查询效率 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

如何最小化将数据从(大型)分区表复制到另一个分区表的RAM需求？

mysql、stored-procedures、database-partitioning

对于两个大表，table1和table2，在table1中有数千个分区和1.5亿行，mysql/mariadb执行这种查询的效率很低。insert into table2 select * from table1 实际上，在两个表上使用8192个分区时，RAM在查询结束之前就耗尽了。

浏览 0提问于2020-05-30得票数 0

1回答

只获取运行时/持续时间的MySQL查询，而不是获取结果

mysql、optimization、partitioning、amazon-rds、mysql-workbench

我们正在针对我们的测试RDS实例运行很少的基准查询，以检查分区的效率，然后将其调整到目前没有分区的生产中。我们有很少的时间序列数据表，因此基于RANGE( unix_timestamp(event_time) )的分区。我们对拥有数百万行的表集(分区表和非分区表)运行的查询花费了太多的时间，而我们现在却陷入了困境。我们从MySQL工作台中可以很明显地看到，获取时

浏览 0提问于2018-03-29得票数 0

1回答

我正在从一个在Server上有大约400个连接的表中进行select，每个连接选择这个表的一部分并写入一个文件；select语句使用表上的索引，每个连接独立运行2.5分钟。当我尝试使用nolock运行400个类似的查询时，总查询时间增加到40分钟。有人知道我可以在哪里进行优化，以便将400查询的速度提高到与运行一个查询相同的速度吗？为了更好地解释，下面是查询的示例： SELECT * FROM TABLENAME WITH (NOLOCK) WHER

浏览 0提问于2018-06-27得票数 0

回答已采纳

2回答

Mysql分区和联接

mysql、database-partitioning

我目前正在将mysql升级到5.1，这样我就可以在mysql中使用分区。我的问题是，如果我对一个表进行分区，一个分区表(包括修剪过程)是否仍然可以使用联接进行查询，或者如果您只是查询有分区的表，那么分区是否是最佳的呢？编辑SELECT event.eventdate字段设置了分区。mysql是否仍然能够使

浏览 6提问于2011-06-22得票数 3

回答已采纳

1回答

我的SQL分区通知

mysql、database、hash、partitioning、sharding

我们目前正在决定MySQL数据库中的表的分区方案。我们有多个碎片，并将所有单个用户记录路由到一个碎片。我们还希望通过userid对表本身进行分区。我们对分区有点陌生，我们希望得到一些关于要使用哪种类型的分区以及我们可能需要维护分区的频率的反馈。我们做了一些简单的测试，使用分区按键，线性键，哈希和线性哈希。然而，在阅读文档时，如果您想要合并或优化分区，我们会看到线性散列更好，但是我们注意到插入速度要慢得多。我们不太明白为什么我们需要合

浏览 5提问于2015-04-24得票数 1

回答已采纳

1回答

Mysql 5.5自动创建每月分区

mysql、partitioning

我有数据库表，每天插入大约10k行。数据库中已经有10m+记录。我想知道如何在这个表上每个月自动创建分区，以便以更快的方式获取数据。我的计划中有日期栏。

浏览 2提问于2014-05-13得票数 4

1回答

在效率方面，GetItem/BatchGetItem与查询和扫描DynamoDB表相比如何？

performance、amazon-web-services、amazon-dynamodb

具体地说，什么时候使用其中一个更好？我现在正在使用BatchGetItem，它看起来非常慢。

浏览 16提问于2016-09-14得票数 5

回答已采纳

1回答

MySQL和mariadb数据库的存储和查询效率？

mysql、mariadb、partitioning、data-warehouse

我刚开始在很大的数据库中查询。我想知道将一个非常大的数据表按几个分区是否会提高或降低存储效率和查询速度。例如，如果I有一个非常大的数据表，其信息值为一年，包含3亿行和近30列，那么将其分解为12个月还是保持asis更好呢？它是提高效率还是提高储存，还是没有提高效率？

浏览 1提问于2018-12-30得票数 0

回答已采纳

1回答

MySQL中组合键的分区

mysql、database-partitioning

在mysql中，我可以拥有一个由一个自动增量和另一个字段组成的复合主键吗？另外，请批评我的“mysql分区”逻辑。我有一个关于MySQL分区的查询。我必须在MySQL中划分一个表，它有一个主键id。我必须按日期字段进行分区(非主项、重复项)。因为我们不能对重复的条目进行分区，所以我创建了一个复合键->(id，date)。如何在这个复合键中创建分区？提前谢谢..。

浏览 5提问于2017-05-02得票数 0

1回答

MySql -全球指数

mysql、index、partitioning

我对MySql分区很陌生，我有一个关于索引的问题。50100 PARTITION BY HASH (user_id)据我理解，只要我在提供user_id的同时查询表，一切都会正常工作，我的问题是:当我不使用user_id进行查询时，表将如何执行，比如：有什么想法吗？附注：我正在运行MySql 5.1 / innodb

浏览 0提问于2012-02-12得票数 0

回答已采纳

1回答

从分区表查询比从具有相同表定义的多个表查询更快吗？

mysql、performance、optimization、mysql-5.5、partitioning、query-performance

我有一个表，它包含大约5000万行，每个分区有500万行进行了分区。我手动将其划分为Table_1、Table_2、Table_3等，没有使用MySql的内置分区特性(使用分区关键字)，因为在对表进行分区时我不知道这个特性。很多时候，我必须检索价值1000万的行，这意味着我必须查询两个分区的数据。从一个表中检索整个数据(500万行)可能需要2-10秒，这是相当慢的。虽然在最初的查询之后，相同的<e

浏览 0提问于2019-02-02得票数 0

2回答

在大表上使用索引的最佳方式

oracle、oracle11g、oracle10g

我有一个表，里面有大约4-4.5亿条记录。每天大约有400万次插入。该表包含6个外键(事实数据表、数据仓库)。该表将经常被查询。

浏览 1提问于2013-12-16得票数 0

2回答

ScyllaDB中的分区键与数据建模

database、cassandra、nosql、distributed、scylla

在Scylla中，数据由分区键存储。如果我查询一个包含多个分区键的大型表，它是否等同于对该表执行多个查询？这似乎效率低下，因为这意味着每个分区将执行一次查询。假设数据被划分为100个分区(100个键)，那么查询是否需要执行100次才能完成？(通过扩展，查询的速度只能和最慢的服务器一样快吗？)如果这是真的，那么从3个单独的表中查询1行(例如，每一行

浏览 13提问于2022-04-10得票数 2

回答已采纳

1回答

Mysql分区剪枝不处理我的子查询

mysql、subquery、partition、pruning

event e long_date BETWEEN '2016-03-25 00:00:00' AND '2016-03-25 23:59:59' 我有2个查询我的Ip_location表是根据ip_start列上的范围进行分区的。当我运行第一个查询时，它是通过分区修剪完成的，而在第二个查询中，它访问了所有分区。

浏览 6提问于2016-11-01得票数 0

回答已采纳

2回答

如何访问/查询mysql中的数据库分区？

mysql、database、database-partitioning

在mysql中对数据库表进行分区时，如何访问/查询各个分区？回应@Crack的评论。因此，当分区位于表中时，我仍然会使用普通的查询。在查询的数据库端，“剪枝”从何而来？那么，它几乎是一个应用于每个查询的复杂存储的Where子句吗？如果没有单独访问分区，为什么要命名这些分区？

浏览 2提问于2012-04-05得票数 3

回答已采纳

1回答

如果我在mysql中一次查询多个分区，与不使用分区查询相同的数据相比，是否存在性能问题？

mysql、partitioning、database-partitioning

我有transactions表，其中按客户端ids进行分区(当前将有4个客户端，因此有4个分区)。现在，如果我在(1,2)中查询客户端id，与在表上不使用分区的情况下使用相同的查询相比，是否存在性能问题？我听说mysql会为每个分区维护单独的文件系统，所以在分区表中查询需要在内部打开多个文件，查询速度会变慢。这是正确的吗？

浏览 4提问于2017-06-09得票数 2

1回答

仅使用分区键的查询性能

cassandra、cassandra-3.0、clustering-key

如果在查询同时包含分区键和聚集键的表时仅提供分区键，是否会影响性能？例如，对于具有分区键p1和聚集键c1的表，将比…效率低 SELECT * FROM table1 where p1 = '

浏览 4提问于2018-07-30得票数 1

回答已采纳

1回答

如何在BigQuery中有效地连接表

sql、google-bigquery

我正在尝试优化如下所示的查询。表A (tbla)是按TBs顺序排列的一个大表。表B (tblb)是一个由几个MBs组成的小表。问题是：，我怎样才能以最有效的方式帮助BQ执行查询？，我把效率定义为有一个平衡的(具有类似工作负载的槽)查询执行。我所考虑的选择是： (i)以没有表分区的形式运行查询。(ii)关于“键”的划分表A:我希望通过在联接键上提供一个分区，从而在一

浏览 1提问于2021-09-06得票数 0

2回答