回答情况：
提问时间：
问题标签：
如何读取HDFS上某个目录中的所有文件并使用scalding进行处理。对于本地文件系统，我使用以下代码import com.twitter.scalding.JsonLine
import java.io._
浏览 4修改于2015-02-20得票数 0
USA"}}{"id":"id1","v":2, "d":{"Location":"USA"}}
我的目标是编写一个scaldingScalding提供了一个名为JsonLine的类。我没有找到太多使用json在sca
浏览 2修改于2014-07-29得票数 1
concat('id, 'contentHost);
generate flatten(filtered), //how to do this in scalding
浏览 1提问于2014-04-08得票数 3
我正在我的系统上安装Scalding和sbt，但运行sbt assembly命令会出现以下错误： SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder
浏览 21修改于2020-08-22得票数 0
在单个节点上安装了Hadoop 2.2后，我尝试使用以下命令运行烫伤教程，第1部分：at com.twitter.scalding.Job$$anonfun$validateSources$1.apply(Job.scala:158)
atcom.twitter.scalding.Job$$anonfun$validateSources$1.apply(Job.scal
浏览 2修改于2014-07-03得票数 0
我对scalding相当陌生，我正在尝试编写一个Scalding程序，它接受2个数据集作为输入: 1) book_id_title：(' ID，' title )：包含图书ID和图书标题之间的映射，两者都是字符串
浏览 1提问于2014-04-16得票数 0
我需要连接两个有相同字段集的管道，也就是('id，'groupName，'name)，就像SQL UNION的工作方式一样。
浏览 0提问于2012-10-22得票数 4
我需要使用一个管道，该管道包含一列带有关联值的标签，并旋转该管道，以便每个标签都有一列，每列中都有正确的值。所以如果我有这样的例子：1 Red 52 Red 73 Red 9我需要把它变成这样：1 5 63 9 10pip
浏览 3修改于2017-07-08得票数 1
我对Scala和NoSQL数据库都是新手。我想知道是否存在将我的Scala对象映射到NoSQL数据库的对象关系管理工具，就像关系型数据库解决方案一样？
浏览 2修改于2014-05-25得票数 0
我想知道scalding是如何将这些函数传递给远程map/reduce任务的？这是使用scala中的一些东西，还是可以用匿名对象完成的一些通用的东西？
浏览 0提问于2013-03-08得票数 2
我看到了Spark对它的支持，但我还没有找到任何关于如何使用Scalding来做这件事的文档。
浏览 1提问于2014-08-03得票数 2
以前，它使用twitter.scalding.addTrap来处理异常，比如：
对于Spark，我使用sc.textFile(InputPath)读取输入，但我不知道如何执行前面的异常处理函数。
浏览 5提问于2017-07-01得票数 0
我正在尝试使用管道(cascading.pipe.Pipe)来读取文件。文件中的每个记录都遵循一个模式，因此尾部记录除外；每当管道读取代码执行时，它都会抛出异常，因为尾部记录与模式不匹配。管道看起来如下所示：val字段= Csv(inputFilePath，filteredInput = "|"，inputFilePath= fieldlst，skipHeader = true) .read
浏览 5修改于2015-03-05得票数 0
谁可以给我一个链接，解释如何在scalding中读取和编写简单的case类？是否有一些默认的序列化方案？
例如，我有创建com.twitter.algebird.Moments管道的作业。
浏览 3提问于2014-03-17得票数 3
我有一个制表符分隔的文件(tsv)，我不知道它的模式，我想使用"Scalding“从每一行中删除第一列。
浏览 2提问于2015-02-18得票数 0
我有一个嵌套的JSON文件，其中每个记录在嵌套部分中可能包含一组不同的字段。fiel看起来像这样，尽管这是真正的avro版本： "name":"features", "fields":[{"name":"key","type":"long"},
浏览 3提问于2015-02-23得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号