OpenFlow控制器的性能评估:什么是可靠的评估？

Question

SDN控制器多种多样且复杂，但它们具有共同的目标和功能。了解选择哪个SDN控制器的一个重要方面是它的性能是否良好，以及它的性能瓶颈是否合理地高。

出于智慧，我偶然发现了this evaluation paper，它本质上批评了OpenFlow的性能，给出了许多关于为什么OpenFlow协议被亚标准实现的有见地的理由。我发现，最有趣的是对许多SDN控制器在类似基准上的比较。

我使用OpenDaylight控制器进行研究，我发现这篇论文声称ODL的效率如此之低，以至于提供实验数据是徒劳的，这是非常糟糕的。考虑到ODL的规模和活跃程度，这似乎是一个不真实的说法。

虽然这篇论文给出了许多其他OpenFlow控制器表现不佳的原因，但令人恼火的是，在OpenDaylight上严格没有给出任何东西。此外，我注意到这些SDN控制器的一般逻辑架构没有给出。对我来说，这是令人担忧的，因为可编程性是SDN游戏的名称，因此使用大多数默认行为(我假设这就是本文中正在进行的)可能不是比较SDN控制器的能力的最可靠的方法。

比方说，控制器A使用技术A自动发现拓扑，而控制器B使用技术B。如果无论实现方式如何，技术B都更有效，这将导致两个控制器的性能评估出现明显的偏差。如果两个控制器都使用技术B(考虑到SDN的高度可配置性，这是合理的)，那么评估将更加公平。

另一个困扰我的问题是所评估的特征。在我看来，延迟与在给定硬件节点上每秒处理一定数量的消息的瓶颈性能一样重要。对我来说，这对实现的依赖性要小得多，因为有许多不同的技术可以使用SDN执行类似的任务，但这些技术在消息传递开销或包输入/包出速率方面没有相同的“复杂性”。

这有意义吗？这是对的吗，还是我漏掉了什么？论文中给出的表现是否值得怀疑？如果是，那么评估控制器技术的独立于实现的方式是什么？

Answer 1

我的一个朋友，RedHat的Daniel Farrel，给我发来了你问题的网址。Daniel领导了几年的CPerf项目: ODL CPerf是一个跨项目的协作项目，成员来自https://wiki.opnfv.org/display/cperf集成/测试、OPNFV和IETF基准方法工作组。通过我们的测试工作和每周的讨论，我们学到了相当多的东西(当然，欢迎您加入我们)。

我读了你引用的会议论文，并分享了你的许多担忧。你的许多兴趣和问题都是切中目标的，我将分享一些链接，并添加一些简短的答案，这些可能会有所帮助。

我也感到惊讶的是，由于性能低下，作者排除了ODL结果。ODL有大量的测试结果，包括CI测试结果：https://wiki.opendaylight.org/view/CrossProject:Integration_Group:Performance_Test:Results几年前，CPerf的成员进行了一项有趣的比较研究：https://www.linux.com/news/sdn-developers-report-key-lessons-testing-opendaylight-performance

令人惊讶的是，持久性数据存储(这是ODL的一个有价值的可靠性特性，并在默认情况下启用)是性能障碍，其他控制器没有提供此特性或在默认情况下没有启用它。必须在ODL中禁用持久数据存储才能进行公平的比较。还评估了对数据存储区使用SSD的好处。这里描述了对ODL控制器的最新测试：https://www.opendaylight.org/blog/2017/10/24/how-performance-testing-improved-the-nitrogen-release

另一个讨论主题围绕着控制器基准测试的“正确”指标集。CPerf项目的想法被记录在这张JIRA门票中：https://jira.opnfv.org/projects/CPERF/issues/CPERF-3?filter=allopenissues我们都同意的一点是，OpenFlow数据包的丢失是流量模块响应的一个关键指标。换言之，控制器吞吐量许多测试也同时测量响应等待时间，且对于许多响应来说等待时间高的吞吐量可能不代表有用的操作条件。当Packet-INs没有产生响应时也是如此，并且CPerf同意吞吐量测量应该报告没有响应丢失的级别。我们的一个团队成员编写了一个golang工具，该工具作为探测器部署在控制器上：https://github.com/anastop/latte，并在of接口上进行丢失和延迟测量。

我还提到，IETF基准方法工作组已经制定了控制器基准的规范，这些互联网草案的主要作者也参与了CPerf：https://datatracker.ietf.org/doc/html/draft-ietf-bmwg-sdn-controller-benchmark-term-06 https://datatracker.ietf.org/doc/html/draft-ietf-bmwg-sdn-controller-benchmark-meth-06

我希望这些材料对你的研究有帮助。

阿尔