用于股票分析的ETL工具和数据库推荐

Question

我计划做一个对股票价格进行分析的项目。每天的数据是从API端点获取的。在运行分析和预测之前，需要将这些数据加载到数据库中，这样运行分析的过程就更容易了。

这里的问题是:我计划在一台本地机器上运行，这台机器将是一台笔记本电脑。这里的数据源是一个API端点。在任何给定的时间点，数据库都包含过去10年来所有股票的OHLC日数据。分析将使用存储过程或Python脚本在数据库本身上运行。期待着这个过程的自动化，端到端。

这将是每天的批处理运行，即每天只运行一次。

气流和Postgresql是一个好的选择吗？

什么应该是首选的ETL工具和数据库？(我只寻找开源工具，因为这是一个个人项目)。

最后，我正在寻找的是一个重量轻的ETL工具(或类似的软件/安装)和一个数据库，以有效地处理1000万记录最低硬件要求。

Answer 1

我一直在绞尽脑汁想办法解决这个问题。随机地，我最终读到了https://makebook.io/执行部分。这清楚地表明了一切。我现在开始使用哪个工具并不重要，因为大多数现代工具都非常强大，而且我们很少达到它们的极限。因此，气流和Postgresql是我现在选择的选择，并将开始使用同样的开发。