致命的org.apache.hadoop.conf.Configuration -分析conf文件时出错: org.xml.sax.SAXParseException

Question

我尝试在本地运行pig，使用自制软件安装，以测试脚本。然而，当我试图从交互式提示符pig -x local运行一个简单的转储时，我得到了以下错误

2012-07-16 23:20:40,447 [Thread-7] INFO  org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil - Total input paths (combined) to process : 1
[Fatal Error] :63:85: Character reference "&#2" is an invalid XML character.
2012-07-16 23:20:40,688 [Thread-7] FATAL org.apache.hadoop.conf.Configuration - error parsing conf file: org.xml.sax.SAXParseException: Character reference "&#2" is an invalid XML character.

相同的加载/转储在弹性MapReduce上工作正常。

我找不到任何XML配置文件，并且我已经尝试了0.9.2和0.10.0版本

我遗漏了什么？

编辑:刚刚检查了一个直接下载(vs. homebrew)，它似乎也不能工作

Answer 1

最终找到了问题所在。我最终不得不在pig/java进程上使用dtruss -p。这显示了一个临时目录和动态生成的xml文件。一旦发现了临时目录，一切都很快就到位了。

它正在从我的网络连接中提取代理排除，据我所知，其中嵌入了&#2 (http://www.fileformat.info/info/unicode/char/02/index.htm)。这个无效值是如何在我的网络首选项中出现的，我一点也不知道。

然后将该值提取到动态生成的文件中，例如/tmp/hadoop-vertis/mapred/staging/vertis-1005847898/.staging/job_local_0001/job.xml。

有问题的代码行：

<property><name>ftp.nonProxyHosts</name><value>localhost|*.localhost|127.0.0.1|h&#2;|*.h&#2;</value></property>
<property><name>socksNonProxyHosts</name><value>localhost|*.localhost|127.0.0.1|h&#2;|*.h&#2;</value></property>
<property><name>http.nonProxyHosts</name><value>localhost|*.localhost|127.0.0.1|h&#2;|*.h&#2;</value></property>

Answer 2

您应该检查您的Hadoop配置文件是否具有正确的配置数据。

查看hadoop/conf目录。

看一看里面：

hdfs-site.xml mapred-site.xml core-site.xml