首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >为具有大量行的表设计数据库

问为具有大量行的表设计数据库
EN

Software Engineering用户
提问于 2018-05-01 01:55:20
回答 4查看 1.6K关注 0票数 1

假设,我正在开发一个应用程序来跟踪一家只有三名员工的小型零售商店的日常销售情况。

假设所有者只同意购买一台PC,并且拒绝购买MS、Oracle等数据库管理系统的副本。因此,为了拥有一个不加修饰的系统,我决定开发一个基于purchase文件的桌面应用程序。

平均而言,零售商店每小时处理5个顾客,平均每个顾客购买15件商品。这家商店每天营业15小时。因此,平均而言,DailySales表中将输入≈7000条记录。不会有多用户的。一次只有一个用户。每5小时左右更换一次用户。

假设,我按照以下方式设计了数据库:

代码语言:javascript
复制
 1. UnitType {ID, Type, Desctiption} 
 2. Product {ID, Name, Description, UnitTypeID}
 3. ProductPriceHistory {ID, DateTime, ProductID, PricePerUnit}
 4. DailySales {ID, DateTime, ProductID, Qty}

但是,我怀疑这个设计最终会出现在一个拥有大量行的表中。例如,仅仅一个星期之后,DailySales表就会变得非常庞大,以至于数据库管理起来会很麻烦。如果我能正确预测,这个设计注定会失败。

我如何解决这个问题,并想出一个更好的设计?

EN

回答 4

Software Engineering用户

回答已采纳

发布于 2018-05-02 04:37:59

你可以用方石岩。它可以存储很多行并在许多操作系统(Windows、Linux、Android、MacOSX)上工作。

您可以考虑在这台PC上安装和使用一些Linux系统,并在其上开发您的系统(可能是作为一个使用数据库的网络应用程序 ),并使用一些免费软件,如PostGreSQL或MariaDb (或MySQL,非常接近MariaDb)。它们能够处理很多行(参见这中的PostGreSQL,这和MySQL中的其他内容)。在实践中,这些限制受到硬件功能的限制。

我已经决定开发一个基于MS文件的桌面应用程序。

这可能不是最好的决定。您应该考虑一些免费的软件选择(如上面提到的那些),并且您可能会想到一些web应用程序(可以在几个浏览器中使用,也许可以在廉价的平板电脑上使用)。

注意,有数亿行的RDBMS通常部署在运行PostGreSQL或MariaDb的Linux系统上(或者MySQL,几乎等价)。

无论您认为什么技术解决方案,都不要忘记非常定期地备份数据,并定义一些备份过程(并偶尔检查一次,以便能够从备份中恢复)。

大部分成本可能与您的开发时间和努力以及您的技能有关。这可能比您需要的硬件或任何软件许可都要昂贵。

如果我能正确预测,这个设计注定会失败。

如果在Linux系统上使用真正的关系数据库管理系统(在大多数Linux发行版上可以免费使用),或者使用方石岩,则这是错误的。您的设计是有效的(您可以使用自由软件;这里提到的所有产品都是免费软件)。您对数据库和操作系统的选择是值得怀疑的。顺便说一句,从零开始开发您自己的位置软件可能比使用现有的解决方案更昂贵(您甚至可能会发现、调整和改进一些自由软件)。

例如,仅仅一个星期之后,DailySales表就会变得非常庞大,以至于数据库

每天多排10000行是很小的。大多数RDBMS (和sqlite)都可以处理这个问题。三年后,这意味着一千万行,没什么大不了的。当然,您需要正确地对磁盘进行维数(但假设每行磁盘空间为4K字节,则40G字节并不多;在您的示例中,每行只消耗几十个字节)。但是你的数据库很小或者很小。为今天的练习干杯。不要担心行的数量(但是要正确定义相关的数据库索引,它们与您将要进行的查询有关)。大多数数据库可以很容易地处理数以千万计的行(如果您的数据库模式足够好的话),这不是今天的问题。因此,您没有“大量的行”,而是一个相当小的行。

如果(出于没有解释的原因)您需要开发桌面软件(而不是在浏览器中运行的东西),您可以使用一些关系数据库(例如使用Qt)在Linux上使用GUI开发一些桌面应用程序。然而,一个web应用程序可以使用几个廉价的平板电脑。您可以找到HTTP服务器库(例如,Wt或碳酸根,对于Linux上的C或C++ )来开发它(参见这)。

票数 2
EN

Software Engineering用户

发布于 2018-05-01 10:39:06

仅仅一个星期之后,DailySales表就会变得如此庞大,以至于数据库管理起来会很麻烦。

我对此表示怀疑。我已经定期使用MS Access 20多年了,并且成功地将它用于拥有500.000多万条记录的数据库,只要只有少数并发用户。然而,当您使用更大的系统时,您需要关注类似的事情:

  • 数据库后端和前端之间100%的物理分离(如果您同时使用MS Access开发后端和前端,这很容易被忽略)
  • 适当的归一化和索引
  • 应用程序的新版本& DB模式的适当升级策略
  • 执行备份和恢复策略,可能是数据库修复和压缩策略。
  • 长期档案战略

考虑到每周预期的记录数量,我想你应该制定一种策略,当旧的销售记录比(大约)旧的时候,你会时不时地归档它们。六个月。

根据客户的需求和涉及较早销售的用例,这可能意味着

  • 将整个数据库文件存档,然后从当前的“活动数据库”中删除所有旧的销售,和/或
  • 为了以一种空间高效的方式收集旧的销售数据,我们可以在网上提供比仅仅6个月长得多的数据。也许“每天销售总量”在6个月后就足够了?
  • 让用户在用于访问旧销售额的旧数据库文件(可能以“只读”方式)和更新的销售记录之间切换。

如果6个月的间隔对客户来说太频繁(由于税务原因通常需要12个月),您可以选择不同的无服务器db系统,它支持比2GB更多的记录/更大的文件(比如SQLite或)。或者,您只需尝试MS Access,看看它对您的影响有多远,如果全年的数据能够在您的情况下得到正确的处理,我不会感到惊讶。只需确保您实现了一个归档策略,这个策略可以在必要时应用。

票数 5
EN

Software Engineering用户

发布于 2018-05-01 10:36:01

的极限

对于现代数据库来说,卷不应该是一个问题。

每个表的最大MS-Access有一个约束.值约为2GB。从类型尺寸的角度来看,DailySales的一个记录目前大约是24个字节。我们绕到40圈吧。这意味着MSAccess仍然能够存储5000万张唱片,这意味着如果你的商店平均每周有15.000行的话,那就意味着64年的销售数据。

一个更具体的约束可能是ID字段的类型。如果你去自动编号,这是一个4字节的无符号整数,你将被限制在400万记录,这个限制可以在5年内达到。解决办法可以是使用包含业务年和自动编号的组合主键,并每年重新设置自动编号。

性能

你可能在表现上更担心。重要的是,至少在其ID字段上索引表(用于加速联接)。还在DailySales中索引日期(用于加速排序)。

为了举例说明,索引允许数据库在不到15次读取的情况下,在10年的销售数据中找到任何记录,而不是遍历700万条记录。

影响MSAccess性能的最大因素是多用户访问,因为每台PC都将运行一个MSAccess引擎,该引擎必须自己访问文件,而在DBMS上则有一个专用的服务器进程。然而,在您的用例中,您只有一台PC,所以这不应该是您的主要关注点。

设计

不知道目标,就很难判断设计。但据我所知:

  • 假设产品的单位类型从未改变,产品的数量销售统计将是容易的。
  • 销售数字将很难计算,因为在存储价格的ProductPriceHistory和持有数量与单价相乘的DailySales之间没有容易的连接。你最好把ProductPriceHistoryID放在DailySales里。
  • 我甚至建议存储DailySales中使用的价格,因为这样可以在客户讨价还价或在特定产品盒上出现小问题的情况下,注册临时折扣。

结论

如果不顾您的论点,所有者不想投资于DBMS,那么您当然可以从MSAccess开始。如果在头几年之后,尽管有索引和其他优化优化,性能将显著下降,那么您可以切换到一个更健壮的系统。

票数 3
EN
页面原文内容由Software Engineering提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://softwareengineering.stackexchange.com/questions/370231

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档