首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >90 row行点击流MySQL的优化设计

问90 row行点击流MySQL的优化设计
EN

Database Administration用户
提问于 2015-10-25 18:59:15
回答 1查看 122关注 0票数 0

问题

我应该使用哪些优化来使这个DB易于管理?我读过很多关于优化大dbs的文章,但是我很新,所以很难确定哪种技术适合我的设置。

DB信息

我从平面文件csvs中加载了大约90百万行到mysql数据库(如果这很重要的话,则是aws RDS )。有60列,每一行都是点击一个网站。

数据类型:由于mysqlimport实用程序的限制,所有数据类型都是文本(具体来说,它在数值字段中对null和0值的处理可能是错误的)。

每一栏都属于以下类别之一:

  1. 访问信息:时间,推荐人等。许多页面记录了数百万次访问(首页,例如),一些日志只记录了几个。
  2. 用户信息:城市/州等。用户登录任何地方从1到数千次访问,与分布倾斜的权利。
  3. 页面信息: url、内容标志等。

IO -数据库只有4个用户,所以不会有太多的i/o,主要是在我们的python数据分析环境中填充数据格式的查询。

索引-除了默认生成的索引之外,没有任何索引。索引的候选对象是用户ID和页面查看时间戳(可能是多列索引?)

Options

我欢迎任何其他的想法,但这正是我提出的一些想法。想知道哪些步骤是值得的,哪些是不值得的。

  1. 合适的大小,每个字段的数据类型--这能提高性能吗?大多数字段是文本或布尔标志。
  2. 将表格分成至少2个,例如访问信息和页面信息。
  3. 将其保存在一个表中并对其进行分区。根据我所读到的,我认为在最常见的查询字段上进行分区是最佳选择。
EN

回答 1

Database Administration用户

回答已采纳

发布于 2015-11-03 20:11:01

OPTIMIZE TABLE几乎总是不值得做。

INDEXes是您的朋友--它们可以(在许多情况下)使查询运行速度更快。提供一个缓慢的查询,加上SHOW CREATE TABLE,我们可以帮助您。或者研究我的食谱。正如上面所说的,选择“右”索引(也许是一个综合索引)需要你首先有一些关于你将要做的SELECTs的线索。

“适当调整”数据类型是个好主意,特别是在第一次创建表时。越小->越可缓存->越少I/O ->越快。

两张桌子(访问信息和页面信息)?如果它们是1:1,通常1表是“正确的”;如果它们是1:多,那么两个表是必须的。

票数 0
EN
页面原文内容由Database Administration提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://dba.stackexchange.com/questions/119135

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档