Spring RESTful web服务.大容量数据处理

Question

我正在尝试构建一个Spring/Spring RESTful web服务，

1. 它接受一个CSV文件，每行有100万行/40列作为输入(来自基于角度的前端)，并且将是一个同步调用。在进入其他屏幕之前，必须将上传状态通知用户。所以，等待时间不能超过几分钟(比如说5分钟)。
2. 这些行中的每一行都必须根据DB中的内容进行验证，如果发现是有效的，则将同样的行插入到DB中。简而言之，每一行都可以是单独的独立事务。

你能提出什么是最好的方法来实现这一点吗？

当前的遗留系统在存储过程中实现了相同的功能，这使得解决方案与DB紧密耦合，如果需要对RDBMS进行修改，这将是一个问题。

1. 在异步web服务调用中以块(例如20k)处理这100万数据的方法有哪些？
2. 春季批次？
3. 存储过程是否可能比上述两个选项更合适和更好地执行(猜测否！)

请您帮助一些至少与存储过程一样好的方法，以及如何根据建议的解决方案进行水平缩放。

Answer 1

你在正确的轨道上用你的三个建议的选择。不幸的是，你的问题的答案是，--它取决于。

上述任何一种方法都可能对您有效。我个人更喜欢Spring，因为我觉得编程模型简单直观。

弹簧批处理指南

另一种方法是使用消息传递并行处理行：

1. 控制器接收包含大量数据的CSV文件。
2. 将数据分割成较小的部分并发送到临时消息队列。
3. 多个工作节点接收并处理消息
4. 监视临时队列的大小并相应地更新用户(%已完成)

简而言之，您对自己领域的了解最终将指导您为您的业务找到最佳解决方案。