Cloudera Manager:我应该把MapReduce作业的Java ClassPath放在哪里？

Question

我已经让Hadoop-Lzo在我的本地伪集群上愉快地工作了，但是当我在生产环境中尝试相同的jar文件时，我得到：

java.lang.RuntimeException: native-lzo library not available

这些库已被验证位于DataNodes上，因此我的问题是：

在什么屏幕/设置中指定本机lzo库的位置？

Answer 1

对于MapReduce，您需要将条目添加到MapReduce客户端环境安全阀。您可以通过转到Configuration.下的查看和编辑选项卡来查找MapReduce客户端安全然后在那里添加以下行：

• HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/*
• JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native

还要将LZO编解码器添加到MapReduce服务下的io.compression.codecs属性。要执行此操作，请转到Configuration下的查看和编辑选项卡下的io.compression，并使用以下代码行：

• com.hadoop.compression.lzo.LzoCodec
• com.hadoop.compression.lzo.LzopCodec

进行更改后，不要忘记重新启动MR守护进程。重新启动后，重新部署MR客户端配置。

有关如何使用LZO的详细帮助，请访问以下链接：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/latest/Cloudera-Manager-Installation-Guide/cmig_install_LZO_Compression.html

HTH

Answer 2

在TaskTracker节点中尝试使用sudo apt-get install lzop。