Python-并行写入文件

Question

我需要追加文本(行)到.json文件从多个服务器并行。这是有效的，但有一些错误(将行写到其他行的中心)。有人知道该怎么处理它吗？谢谢

with open(sys.argv[2],'a') as w:

    w.writelines(json.dumps(record)+"\n")

Answer 1

您有几个选项：

1. 以某种方式锁定文件。这是系统和文件系统相关的，我不确定如何在Python语言中做到这一点，但我确信这是可能的。
2. 使用了一些其他的同步机制。如果所有进程都在同一台机器上运行，那么您可能可以使用一些OS互斥对象。如果它们运行在不同的机器上，您可能需要某种类型的锁server.
3. (Simplest)让每个进程写入自己的文件，并使单个进程合并所有文件。