Azure数据湖商店并发

Question

我一直在玩Azure Data，在文档中，微软声称该系统是针对低延迟、小写入文件而优化的。通过测试，我尝试在并行任务上对单个文件执行大量的写操作，但是这个方法在大多数情况下都失败了，返回了一个不好的请求。这个链接https://issues.apache.org/jira/secure/attachment/12445209/appendDesign3.pdf显示HDFS不是用来处理单个文件上的并发追加的，所以我第二次尝试使用API中的ConcurrentAppendAsync方法，但是尽管该方法没有崩溃，但是我的文件从未在存储中被修改过。

Answer 1

对于并行写入的工作方式，您所发现的是正确的。我想你已经读过“文档 of ConcurrentAppendAsync”了。

那么，在您的示例中，您是否为Webhdfs编写测试和ConcurrentAppendAsync使用了相同的文件？如果是这样的话，那么ConcurrentAppendAsync将无法工作，正如文档中提到的那样。但在这种情况下你应该犯个错误。

无论如何，让我们知道发生了什么，我们可以进一步调查。

谢谢,

萨钦·希思

程序管理器- Azure数据湖