首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用反应式扩展并发读取交错文件

问如何使用反应式扩展并发读取交错文件
EN

Stack Overflow用户
提问于 2012-06-21 18:11:36
回答 2查看 1.1K关注 0票数 2

我对反应式扩展是个新手,我想用它(在c#中)来读取一个包含多个交错流的文件。基本上,该文件的格式为ABCDABCDABCD...。我更喜欢按顺序读取文件并分离流(即AAA..、BBB..等),并并行处理每个流,对每个流使用单独的线程。

必须有某种形式的缓冲,以确保每个流可以尽可能地保持忙碌(当然,在限制范围内)。不是所有的流都必须同时开始,在这种情况下,对于延迟的流,必须跳过多个元素。在这种情况下,缓冲可能会弥补这一差距。

文件中的元素很小(4个字节),因此非常繁琐。因此,我也在寻找一种有效地处理这个问题的方法。

我首先创建了一个枚举来读取文件。这可以用来提供一个包含流ID的结构,或者可以根据顺序(元素数与流数的模数)来分隔流。不过,后者可能更有效。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2012-06-22 06:04:30

这个问题上到处都是“视情况而定”,特别是当你在谈论性能和效率时,但提供了一个有点做作的例子。也就是说,与真实文件相比,您的示例文件非常简单。但是,我将尝试提供一些建议,以防止它有用。

下面是一个将流转换为Enumerable<char>的方法。流将应用缓冲,这将一次发送回一个结果。这可以变得更有效率(发送回数据块),但在某些情况下,您需要一次处理一个数据块,它可能就在这里。不要过早地进行优化。

代码语言:javascript
复制
IEnumerable<char> ReadBytes(Stream stream)
{
    using (StreamReader reader = new StreamReader(stream))
    {
        while (!reader.EndOfStream)
            yield return (char)reader.Read();
    }
}

现在,假设这是“输出”可见对象的处理代码。首先,我设置输出可观察对象,然后根据需要订阅它们。请注意,我在这里使用的是数组,因此我的输出可观察索引是数组索引。如果流索引不能转换为从零开始的索引,也可以使用字典。

代码语言:javascript
复制
var outputs = Enumerable.Repeat(0, 3).Select(_ => new Subject<char>()).ToArray();                                                                                                     

outputs[0].Delay(TimeSpan.FromSeconds(2)).Subscribe(x => Console.WriteLine("hi: {0}", x));
outputs[1].Delay(TimeSpan.FromSeconds(1)).Subscribe(x => Console.WriteLine("ho: {0}", x));
outputs[2].Subscribe(x => Console.WriteLine("he: {0}", x));

注意使用Subject<char>在上发送我的元素。这取决于您的元素的类型,但是char可以在给定的示例中工作。另请注意,我延迟元素只是为了证明一切都正常工作。它们现在是独立的流,你可以对它们做任何你想做的事情。

好的,给定一个文件流:

代码语言:javascript
复制
var file = @"C:\test.txt";
var buffer = 32;
var stream = new FileStream(file, FileMode.Open, FileAccess.Read, FileShare.Read, buffer);

我现在可以订阅并使用模数索引发送到正确的输出流:

代码语言:javascript
复制
ReadBytes(stream)
.ToObservable(Scheduler.ThreadPool)
.Select((x,i) => new { Key = (i % 3), Value = x }) // you can change it up here
.Subscribe(x => outputs[x.Key].OnNext(x.Value));

这里可能有更有效的方法,这取决于您如何计算目标流,但想法保持不变。

输入文件只包含一行:ABCABCABCABCABCABC

运行该程序的输出为:

代码语言:javascript
复制
he: C
he: C
he: C
he: C
he: C
he: C

一秒钟后:

代码语言:javascript
复制
ho: B
ho: B
ho: B
ho: B
ho: B
ho: B

然后又是一秒:

代码语言:javascript
复制
hi: A
hi: A
hi: A
hi: A
hi: A
hi: A
票数 3
EN

Stack Overflow用户

发布于 2012-06-23 10:59:09

以下是我的解决方案,它是基于雅门的答案。它似乎工作正常,这意味着顺序交错输入被拆分成多个顺序流,这些流以并行(多线程)方式进行处理。

然而,我不确定这是否是一个合适的实现(在编程风格、rx契约等方面)。

代码语言:javascript
复制
const int MAX_BUFFERED_ELEMENTS = 1024;

// number of streams in the file
var numberOfStreams = 8;

// semaphore to limit buffered elements
var semaphore = new SemaphoreSlim(MAX_BUFFERED_ELEMENTS);
var cts = new CancellationTokenSource(); // should be used to cancel (left out of this sample)

// create subjects that are the base of each output stream
var subjects = Enumerable.Repeat(0, numberOfStreams).Select(_ => new Subject<ElementType>()).ToArray();

// create the source stream (reader is IEnumerable<ElementType>)
var observable = reader.ToObservable(Scheduler.ThreadPool).Publish();

// forward elements from source to the output subjects
int stream = 0;
observable.Subscribe(x => { 
    semaphores.Wait(cts.Token);   // wait if buffer is full
    _subjects[stream].OnNext(x);  // forward to output stream
    if (++stream >= numberOfStreams) stream = 0; }); // stream = stream++ % numberOfStreams

// build output streams
subjects.Select(
    (s,i) => s.ObserveOn(Scheduler.ThreadPool) // process on separate threads
    .Do(_ => semaphore.Release())              // signal that element is consumed
    .Subscribe(x => Console.WriteLine("stream: {0}\t element: {1}", i, x)) // debug 'processing'
    );

// start processing!
observable.Connect();
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/11135968

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档