哪种微服务模式适用于传输大型数据文件

Question

如果多个微服务需要处理一个大的JASON文件(10MB)，那么最好的企业架构/设计模式是什么？每个微服务都需要文件中的整个数据来处理它。

Answer 1

共享大型数据集的

• 可能是代码库划分为服务的次优划分的迹象。
• 当多个服务在同一数据集上进行有意义的处理时，每个服务都应该有其自己的副本。
• 当涉及到重量级数据时，在“常规”排队系统(如RabbitMQ / SQS)中克隆数据是相当麻烦和低效的。
  • 像Kafka / Kinesis这样的“重量级”排队系统可能是最有效的。数据的一个副本将被持久化，每个服务都可以从一个“共享的”stream.

中读取它

​

Answer 2

将其存储在其他微服务可以读取的地方。使用pub/sub或事件-通知发布文件的相关微服务。其他微服务可以自己读取它。

Answer 3

1. 客户端/系统将事件发布到实现Saga模式的应用编程接口，传递指向文件所在位置的链接(例如，上载到S3存储桶)。
2. Saga模式中的每个事件/步骤都会根据其requirements.
3. client/system可以轮询更新来处理文件，或者原始POST可以设计为传递回调/通知服务端点。