如何在Scalding中定义源字段

Question

一个月前我在Cascading工作。现在，我们正在尝试在滚烫中实现同样的功能。我有一个基本的问题。

如何在Scalding中定义我的源和宿模式?？

下面是我们在级联中遵循的过程

    SrcFields sourcefields = new SrcFields();
    SinkFields sinkfields = new SinkFields();
    Fields source = sourcefields.sourceFields();
    Fields sink = sinkfields.sinkfields();
    Scheme sourceScheme = new TextDelimited(source,",");
    Scheme sinkScheme = new TextDelimited(sink,",");

Answer 1

在烫伤中，您可以根据Source documentation使用Fields based或Typed接口。在前者中，您将使用Csv或Tsv类来读取或写入。

对于类型化接口，可以使用TypedCsv或TypedTsv类。

您可以在滚烫教程中找到示例：https://github.com/twitter/scalding/blob/develop/tutorial/Tutorial6.scala、https://github.com/twitter/scalding/blob/develop/tutorial/TypedTutorial.scala