首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >节点解析器:模中的并行性和并发性

问节点解析器:模中的并行性和并发性
EN

Stack Overflow用户
提问于 2016-10-06 23:55:25
回答 2查看 248关注 0票数 1

上下文

亲爱的节点回收用户,我有一个钩入Knot's的模块 finish阶段,

代码语言:javascript
复制
 static knot_layer_api_t _layer = {
     .finish = &collect,
 };

收集函数static int collect(knot_layer_t *ctx) {的目的是通过REST询问外部预言器是否列出了包含恶意软件或网络钓鱼活动的特定域,以及它是否应该被解决或下沉。

只要not不是针对数百个并发DNS请求的目标,它就能正常工作。当发生这种情况时,考虑到oraculum的API响应时间是变化的,有时可能长达数十到数百毫秒,客户端开始临时感知到从temporarily到oraculum的API的响应时间非常长,远远超过了通信到oraculum的API的困难超时时间。

可能问题

我认为随进程缩放实际上使模块的实现效率很低,因为查询是由模块一个接一个地排队和处理的(在特定的进程中)。这意味着如果n查询几乎命中oraculum的API超时限制t,将其n+1查询发送到这个特定的kresd进程的客户端将感知到一个非常长的累积n*t响应时间。

还是会的?我完全疯了吗?

当我使用goroutines在GoDNS中创建类似的功能时,GoDNS服务器(以可怕的CPU使用为代价)允许许多DNS客户端的查询与oraculum对话,并“并发”地返回客户端。

问题

  • 是否可以使用线程或OpenMP线程,并开始在模块中隐藏API的响应时间?这不是一个完整的结解析反模式吗?
  • 我将oraculum的API响应缓存在一个简单的内存临时LRU缓存中,该缓存驻留在每个kresd进程中。是否可以使用kresd自己的MVCC缓存来代替我的任意结构?
  • 这是否有可能是其他地方的问题,例如,network不期望finish层有任何阻塞延迟,从而一些网络队列被填充,随后的DNS查询被拒绝和/或无法忍受的延迟?

谢谢指点(双关意)

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2016-10-10 14:04:51

这里是一位Knot开发人员:-) (我也重复了Jan已经回答过的一些事情。)

  • 随进程缩放可以很好地工作。等待来自名称服务器的响应是由libuv完成的(通过事件循环和回调,都在一个线程中)。
  • 由于单线程样式,不应阻塞任何层功能(在I/O上),因为这会使所有的功能都阻塞在上面。AFAIK目前唯一可以真正实现的情况是缓存(部分)被交换掉。
  • 在处理该层之前需要一个子请求时,它使用的是屈服状态http://knot-resolver.readthedocs.io/en/latest/lib.html?highlight=yield,但是我目前不知道它的工作细节。我不认为它是直接适用的,因为恢复层似乎目前只由子请求完成触发。
  • Cache:如果您将模块放在rrcache模块之前,并且更改了RRset,它将被缓存更改。
票数 1
EN

Stack Overflow用户

发布于 2016-10-09 19:02:30

结DNS开发人员在这里(但不是Resolver )。我想你是对的。我的理解是,层代码是在守护进程线程中同步执行的。异步只出现在解析器网络I/O级别。

在内部,服务器运行libuv循环,它只对libuv提供的原语(套接字、计时器、信号等)执行事件回调。问题是,您不能在任意点挂起正在运行的回调(C函数),不能返回到libuv循环,然后在以后的某个时候继续执行回调。

也就是说,异步等待事件只能在预期的情况下发生。代码驱动层并没有预料到这一点。

答案:

  • 我对利洗礼和OpenMP不太熟悉。但我认为,如果不重新处理层接口并使其成为异步的,就不可能真正解决这一问题。
  • 可以肯定地使用共享缓存。如果您找不到API,人员会很高兴地接受一个补丁,或者帮助您编写一个补丁。
  • 事实正是如此。纽结解析器不期望阻止代码在层完成回调。
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/39907362

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档