首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >IOPS还是吞吐量?-在Amazon实例中确定写入瓶颈

问IOPS还是吞吐量?-在Amazon实例中确定写入瓶颈
EN

Stack Overflow用户
提问于 2015-02-18 00:24:15
回答 6查看 21K关注 0票数 14

我们每晚都会向运行在Amazon中的Mysql报告数据库加载几十万条记录的作业。

负载作业需要几个小时才能完成,但我很难弄清楚瓶颈在哪里。

该实例目前正在使用通用(SSD)存储运行。通过查看cloudwatch指标,我似乎在过去一周平均不到50 IOPS。然而,网络接收吞吐量小于0.2MB/秒。

如果我被网络延迟(我们目前正在从远程server...this加载数据,最终会改变)或写入IOPS,那么是否可以从这些数据中判断?

如果IOPS是瓶颈,我可以轻松地升级到提供的IOPS。但是,如果网络延迟是问题所在,我将需要重新设计负载作业,以从EC2实例加载原始数据,而不是远程服务器,这将需要一些时间来实现。

如有任何建议,敬请见谅。

更新:关于我的实例的更多信息。我使用的是m3.xlarge实例。它的容量为500 in。加载作业是使用来自宾得的ETL工具完成的。它们从多个(远程)源数据库中提取,并使用多个线程插入RDS实例。

​

​

EN

回答 6

Stack Overflow用户

发布于 2015-02-18 01:30:45

你没有消耗太多的CPU。你的记忆力很低。拥有更多内存的实例应该是一个好的胜利。

你只做了50-150次iops。这是低的,你应该得到3000在一个突发在标准的SSD级别的存储。但是,如果您的数据库很小,它可能会对您造成伤害(因为您每GB获得3个iops -因此,如果您在一个50 GB或更小的数据库上,请考虑为提供的iops付费)。

您也可以尝试Aurora;它会讲mysql,而且据说性能很好。

如果你能展开你的写作,尖峰就会变小。

票数 2
EN

Stack Overflow用户

发布于 2016-03-25 13:30:31

一个非常快速的测试是购买供应IOPS,但要小心,因为你可能得到的比你目前在一个突发事件。

另一种快速确定瓶颈的方法是使用了解数据库驱动程序的分析器来分析作业执行应用程序。如果您使用的是Java,JProfiler将显示您的工作的特点以及它对数据库的使用。

第三种方法是配置数据库驱动程序,以打印有关数据库工作负载的统计信息。这可能会告诉您,您发出的查询比您预期的要多得多。

票数 2
EN

Stack Overflow用户

发布于 2015-02-18 03:30:59

远程访问数据库的最可能的罪魁祸首实际上是往返延迟。这种影响很容易被忽视或低估。

例如,如果远程数据库有75毫秒的往返时间,如果使用单个连接,则不可能执行超过1000次(毫秒/秒)/ 75 (毫秒/往返)= 13.3次查询。物理定律是无法绕开的。

峰值表明加载过程效率低下,在加载过程中,它会聚集一段时间,然后加载一段时间,然后聚集一段时间,然后加载一段时间。

如果客户端没有启用MySQL客户机/服务器压缩协议,则单独但相关.找出如何启用它。(服务器始终支持压缩,但客户端必须在最初的连接握手期间请求压缩),这不会解决核心问题,但应该会在一定程度上改善这种情况,因为物理传输的数据较少可能意味着传输过程中浪费的时间更少。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/28573774

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档