使用python建立具有自动更新的在线安全数据库？

Question

故事：

• 我在vba excel中编写了多年代码，创建了金融模型。
• 我已经长大了，并被引导向蟒蛇前进，我正在学习。
• 每天我有一个5.5mb的csv，我想上传到一个数据库，我还没有建立。
• 看来，除非有人有其他建议，否则MySQL是最好的选择。

问题是:我有4年csv格式的数据(5.5gb)。

• 对于数据库构建，表的大小是否有限制？
• 我应该考虑另一个数据库平台吗？
• 我是否可以使用python构建一个自动化模块来打开csv文件(转储到我的服务器或电子邮件)，然后更新mysql中的表？

Answer 1

在存储方面，我的MySQL没有任何限制，不过您应该看看社区版本和付费版本(即企业验证版)之间的区别。

我认为您通过选择python进行数据处理做出了正确的选择。我还处理来自多个数据源的数据，每个数据源在gigbit范围内，我使用python和MySQL。我建议您查看以下python库：

• SQLalchemy
• 熊猫

顺便说一句，您绝对可以用python打开任何csv文件。只需提供路径并使用csv库(或只使用熊猫)

是的，您可以将电子邮件发送到服务器的过程自动化，请记住，您需要使用像'os‘这样的库。

此外，由于python社区，有很多有用的信息。首先，您可以使用以下链接作为参考：

Import multiple csv files into pandas and concatenate into one DataFrame

如果您还需要使用python从Excel文件导入数据，熊猫也可以这样做(或者您可以查看xlrd库)。