从tcp字节流中提取协议数据单元的有效方法

Question

我有两个java项目(简单的多人游戏)，依赖一个基于字节的面向连接的通信协议。

在这两种情况下，我对通信的实现都不满意，因为我无法想出一种智能的、非冗长的和面向对象的编写方法，特别是解析字节。

因为我的写作

ProtocolDataUnitX pdux = new ProtocolDataUnitX("MyName", 2013);
int[] bytes = pdux.getBytes();
out.write(bytes); // surrounded with try/catch etc.

这在某种程度上是可以接受的，因为我有一个具有字节转换方便方法的AbstractPDU类。但是我必须为每个协议数据单元定义getBytes()方法。我解析传入字节流的方法缺乏更多的创新。

private InputStream in;

...

@Override
public void run() {

    int c;
    while ((c = in.read()) != -1)) {
                if (c == 0x01) {
                    // 0x01 means we have pdu #1 and can continue reading
                    // since we know what is coming.
                    // after we have all bytes and know the pdu
                    // we can determine the paramters. I.e., every pdu has a
                    // reverse constructor: bytes -> pdu
                }

问题

你是如何处理这些情况的？最佳实践是什么？有些协议有总长度字段编码，有些则没有。一些协议数据单元具有可变长度。这里有合理的方法吗？也许是某种模式定义？我不想再为这个问题产生丑陋和混乱的代码了。

Answer 1

摘要：最佳实践是使用现有的成熟协议编译器。Google是一个受欢迎的选择。

多年来，许多协议定义系统都得到了发展。其中大多数包括编译器，它们采用协议描述并生成客户端和服务器代码，通常使用多种语言。这种编译器的存在在不限于单个客户端(或服务器)实现的项目中非常有用，因为它允许其他团队使用标准PDU定义轻松地创建自己的客户机或服务器。而且，正如您所观察到的，创建一个干净的面向对象的接口并不简单，即使在Java这样的语言中也是如此，因为Java具有您所需要的大多数特性。

PDU是否应该具有显式长度或自定界(例如，带有结束指示符)的问题很有趣。显式长度有很多优点:首先，不需要有一个完整的解析器才能接受PDU，这可以使反序列化与传输更好地隔离。如果传输由PDU流组成，则显式length字段使错误恢复更加简单，并允许将PDU早期分配给处理程序。显式长度字段还使在另一个PDU中嵌入PDU变得更容易，这通常很有用，特别是当PDU的部分必须加密时。

另一方面，显式长度字段要求在传输之前将整个PDU组装在内存中，这对于较大的PDU来说是很尴尬的，对于单个PDU是不可能的。如果length字段本身具有可变长度(这几乎总是必要的)，那么除非在开始时知道最终长度，否则创建PDU组件会变得很困难。(解决此问题的一个解决方案是向后创建序列化字符串，但这也很尴尬，不适用于流。)

总的来说，平衡有利于显式长度字段，尽管有些系统允许“分块”。分块的一种简单形式是定义最大块大小，并将连续块与最大大小以及第一个小于最大值的块连接起来。(如果PDU是最大大小的偶数倍，那么能够指定0长度块是很重要的。)这是一个合理的折衷方案；它允许流(与一些工作)；但这是一个更多的工程努力，它创造了许多角落的情况，需要测试和调试。

在设计PDU格式时，一个重要的准则是，每个选项都是潜在的信息泄漏。在可能的范围内，尝试使任何给定的内部对象只有一个可能的序列化。另外，请记住，冗余是有代价的:在任何有重复的地方，它都意味着有效性的测试。保持最低限度的测试是提高效率的关键，特别是在反序列化方面。跳过有效性测试是对安全攻击的邀请。

在我看来，做一个特别的协议解析器通常不是一个好主意。一方面，这是一项很大的工作。另一方面，有很多微妙的问题，最好是使用一个系统来处理这些问题。

虽然我个人是ASN.1的粉丝，ASN.1被广泛使用，特别是在电信行业，但它并不是一个容易的技术，适合于一个小项目。学习曲线非常陡峭，而且没有像人们所希望的那么多开放源码工具。

目前，最受欢迎的选项可能是谷歌原版，它可用于C++、Java和Python (以及通过贡献插件提供的许多其他语言)。它很简单，相当容易使用，而且开源。