文件系统v/s数据库

Question

我的问题是面向方法的。我目前正在做一些项目。所有的项目都将面临需要获取和维护的大量数据。我的一个项目是关于网络爬行系统。正如它所定义的那样，网络爬行将存储大量的数据。我现在正在维护mysql数据库中的数据。但我怀疑，如果数据库将是巨大的，会发生什么。我不想在系统的速度上妥协。我有两个问题，

1)当db变大时，MySql会面临速度问题吗？

2)如果我为每个网站创建单独的文件并将其数据存储在该文件中，会发生什么？它会在速度问题上有所帮助吗？

Answer 1

MYSQL

• 只要你适当地优化你的表和查询，你的服务器应该能够扩展，只要它被给予适当的资源，如内存/CPU。你也可以考虑使用像memcached这样的工具在平面文件中缓存你的queries.

1. Storing数据，这会减慢你的You应用程序的速度，坚持使用数据库。

Answer 2

一般而言，数据库是为提高性能而构建的，对于海量数据来说，它是非常好的。他们甚至索引数据以便快速访问，并且非常聪明地快速获取数据(查询优化)。

因此，如果您不必在数据库上执行昂贵的查询(具有许多连接)，或者不必执行SQL未涵盖的查询，那么使用关系数据库就完全可以了。如果您担心磁盘空间问题，您可以尝试使用PostgreSQL，它也具有压缩功能(这样可以在内存中保存更多的数据以获得更好的性能)