大量连接到kdb

Question

我有一个有超过10,000个工作进程的网格，并且我正在使用qpython将数据附加到kdb。目前有1000个工作进程，我得到大约40个工作进程在第一次尝试时无法连接和发送数据，顶部显示发生这种情况时Q处于100%的cpu。当我扩展到10k名员工时，问题将会升级。数据量只有100MBs。我尝试过运行额外的从属程序，但是kdb告诉我不能将它与-P选项一起使用，我猜我需要使用qpython。任何想法如何扩展以支持10k工人。我现在的想法是在中间写一个服务器，它将缓冲写请求并将它们传递给kdb，有没有更好的解决方案？

Answer 1

令我惊讶的是，您愿意为Python贡献10,000个cpus，但只为Kdb贡献一个cpus。

只需运行更多的Kdb核心(在其他端口上)，然后启用另一个进程来接收来自摄取核心的更新。tickerplant就是一个很好的模型。