使用BinaryReader逐行读取

Question

我使用以下代码来序列化来自dataTable的数据。

var rows = new List<Dictionary<string, object[]>>();

我填充DataTable中的行，并将它们放入字典中。不要问为什么:)

using(var fileStream = new FileStream(@"D:\temp.bin", FileMode.Create, FileAccess.Write, FileShare.None))
using(var bw = new BinaryWriter(fileStream))
{
    foreach(Dictionary<string, object[]> row in rows)
    {
        byte[] bytes = ObjectToByteArray(row);
        bw.Write(bytes);
    }
}

使用以下方法：

private static byte[] ObjectToByteArray(Dictionary<string, object[]> rows)
{
    var bf = new BinaryFormatter();
    using(var ms = new MemoryStream())
    {
        bf.Serialize(ms, rows);
        return ms.ToArray();
    }
}

我尝试做的是逐行反序列化，如果使用BinaryReader可以实现的话。问题是我只能读第一行。

我想要实现的是：

using(BinaryReader reader = new BinaryReader(File.Open(@"D:\temp.bin", FileMode.Open)))
{
    int pos = 0;
    int length = (int)reader.BaseStream.Length;
    while(pos < length)
    {
        byte[] v = reader.ReadBytes(pos);
        Dictionary<string, object[]> row = FromByteArray(v);
        // Advance our position variable.
        pos += row.Count;
    }
}

最大的问题是reader.ReadBytes(XXX) ->应该读取什么值？我事先不知道这个。我需要阅读整行，并转换为字典。我用来转换回的方法是：

public static Dictionary<string, object[]> FromByteArray(byte[] data)
{
    BinaryFormatter bf = new BinaryFormatter();
    using(MemoryStream ms = new MemoryStream(data))
    {
        object obj = bf.Deserialize(ms);
        return (Dictionary<string, object[]>)obj;
    }
}

正如我所说的，FromByteArray适用于第一行，我找不到任何方法来阅读下一行。

当我使用BinarryFormatter序列化完整的文件时，如果文件不是那么大，它就会通过。如果是，就会发生OOM。反序列化也是如此。这就是我希望它部分序列化/反序列化的原因。

什么都试过了到处都找过了。谢谢你帮我解决这个问题。

Answer 1

对于每次迭代，还要在文件中保存以下序列化对象的长度。

在读取时，每次迭代首先读取4字节(reader.ReadInt32)以获取此值，然后读取此字节数进行反序列化。

我认为它应该是这样的：

using(var fileStream = new FileStream(@"D:\temp.bin", FileMode.Create, FileAccess.Write, FileShare.None))
{
    using(var bw = new BinaryWriter(fileStream))
    {
        foreach(Dictionary<string, object[]> row in rows)
        {
            byte[] bytes = ObjectToByteArray(row);
            bw.Write(bytes.Length);
            bw.Write(bytes);
        }
    }
}


using(BinaryReader reader = new BinaryReader(File.Open(@"D:\temp.bin", FileMode.Open)))
{
    int length = (int)reader.BaseStream.Length;
    while(reader.BaseStream.Position != length)
    {
        int bytesToRead = reader.ReadInt32();
        byte[] v = reader.ReadBytes(bytesToRead);
        Dictionary<string, object[]> row = FromByteArray(v);
    }
}