使用spark流处理实时数据包

Question

我已经收到了使用jnetpcap的实时数据包。谁能告诉我如何使用spark streaming从实时数据包中提取数据包头和其他详细信息？

Answer 1

如果你读过spark streaming programming guide，你会发现你可以为你的流实现一个自定义接收器。但是，实际指南中只有很少的示例，您必须阅读页面底部指定的示例和javadoc。

This project是一个自定义的接收器，它基本上是：

1. 扩展了Receiver
2. Implements onStart和onStop方法
3. 使用要通过流

传递的数据调用store方法

事情应该就这么简单。解析包的哪些部分以及如何解析可能是您自己的决定。根据编程指南，您只需在源代码级别提供包，并编写自己的转换器等即可。