回答情况：
提问时间：
问题标签：
我正在运行一个使用Swift作为underfs的小型Alluxio (1.7.0)集群。
我已经确认了Alluxio在写入和读取文件并将其持久化到Swift商店的过程中非常出色。我想通过Alluxio访问Swift商店上的文件，这些文件是从单独的客户端保存的，但由于Alluxio master中没有元数据，因此这些新文件不可见。我知道这是预期的功能，但我想问的是，是否有任何配置选项或解决方案可以使在Alluxio中可见的underfs中的新文件可见？
浏览 5修改于2018-10-03得票数 1
1回答
我使用特定的Hadoop发布版本构建Alluxio：我把alluxio-assembly-server/opt/alluxio-2.4.1-1/conf/alluxio-site.properties：
alluxio.master.mount.table.root.ufs=hdfs://nameservice1/<em
浏览 5提问于2021-01-08得票数 0
我在EMR5.19.0集群上安装了Alluxio1.8，可以使用/usr/local/alluxio/bin/alluxio fs ls /查看我的S3表。但是，当我启动hive并发出hive> [[DDL w/ LOCATION = alluxio://master_host:19998/my_table ]]]命令时，我得到以下结果：
FAILED:MetaException(message:java.lang.R
浏览 10提问于2018-12-04得票数 1
是否可以将HDFS数据挂载到Alluxio上，并将Alluxio复制/先试数据放到s3桶上？还是使用Alluxio在HDFS和S3之间复制数据(而不将数据存储在Alluxio缓存中)？
浏览 6修改于2022-07-09得票数 0
回答已采纳
所以，我的问题是:我应该在HDFS中使用Alluxio还是Alluxio替代HDFS？(我在他们的站点中看到，用于下存储文件系统的共享存储可以是网络文件系统(NFS)。因此，我认为HDFS不是必需的。在哪种模式下性能更好: HDFS与Alluxio或Alluxio stanalone (我指的术语是在集群中单独使用，而不是本地使用)。
浏览 1修改于2018-10-02得票数 2
回答已采纳
我曾尝试将Impala配置为在Alluxio上运行，但失败了。> <description>The Alluxio FileSystem (Hadoop 1.x and 2.x)</description><property>
<name>fs.AbstractFileSystem.alluxio
浏览 5修改于2018-10-07得票数 0
我设置了level0.dirs.quota=1GB，level1.dirs.quota=10GB和alluxio.user.file.write.tier.default=1，然后当我使用alluxio-fuse配置如下：alluxio.worker.tieredstore.level0.alias=MEMalluxio.wo
浏览 14提问于2019-03-25得票数 0
我要建立一个Alluxio集群。我运行了脚本./bin/alluxio-start.sh all SudoMount，但是得到了这个错误Error: Alluxio requires Java 8 or Java 11, currently Java为什么Alluxio仍然认为它是Java 7呢？
浏览 5修改于2022-06-30得票数 0
回答已采纳
这是我从工人舱得到的日志：2018-06-08 10:09:55,723 INFO Configuration- Configuration file /opt/alluxio
浏览 0修改于2018-10-06得票数 1
但是当我尝试索引位于alluxio中的文件时，我遇到了一个异常"No fileSystem for scheme: alluxio“。我已经在我的pom中添加了alluxio依赖项。void main(String[] args) {
"alluxio);
在SparkRead中，我从文件路径进行索引: JavaRDD documents =
浏览 7修改于2018-10-03得票数 0
我正在运行一个Spark作业，写到一个有20个工作者的Alluxio集群(Alluxio 1.6.1)。由于alluxio.exception.status.DeadlineExceededException，Spark作业无法写入其输出。这名工人还活着，来自阿卢西奥WebUI。alluxio.exception.status.DeadlineExceededException: Timeout writing to WorkerNetAddress{host=spark-74-44.xxxx, rpcPort=51998
浏览 7提问于2018-11-16得票数 2
我在Alluxio和火花上有个奇怪的错误。我从Alluxio读了20.000个与火花有关的文件，而且它可以工作。但是我从Alluxio读了40.000个与火花有关的文件，这是行不通的。at alluxio.client.file.BaseFileSystem.listStatus(BaseFileSystem.java:195)
at alluxio.client.file.BaseFileSystem.listStatusat alluxio.AbstractClien
浏览 0修改于2018-10-06得票数 1
回答已采纳
-u hdfs hadoop jar /usr/lib/hadoop-0.20-mapreduce/hadoop-examples.jar wordcount -libjars /home/nn1/alluxio-1.2.0/core/client/target/alluxio-core-client-1.2.0-jar-with-dependencies.jar alluxio://nn1:19998/
浏览 5修改于2018-10-04得票数 4
启动位于host_ip:19999 (默认端口号为19999)的Alluxio web UI，对于Alluxio Summary下的指标Server Configuration Check，值为WARN
浏览 5修改于2019-11-22得票数 0
我试图在集成开发环境中的scala代码中访问alluxio中的一个文件，我得到了这个错误Exception in thread "main" java.io.IOException: No FileSystem>
</project> 我可以通过Shell访问Spark安装目录中的alluxio文件系统。如果我尝试通过集成开发环境访问相同的代码，包括POM.xml中的上述alluxio依赖项，我会得到上面的错误。如果我手动将这个
浏览 51修改于2019-03-07得票数 1
回答已采纳
我已经部署了一个基于HDFS集群的Alluxio集群。当我使用Alluxio Native Java Api将一些文件写入到Alluxio并设置writetype ASYNC_THROUGH时，这些文件(即使只有1G)似乎没有写入到HDFS，几天后一直保持
浏览 33修改于2019-11-21得票数 1
回答已采纳
我为alluxio(1.4版本)使用了6节点集群，但它不会在集群中分发文件，一个worker只使用98%，另一个worker使用50%-55%的主节点，我在所有节点中使用alluxio-site.properties文件中的"alluxio.user.file.write.location.policy.class=alluxio.client.file.policy.MostAvailableFirstPolicy
浏览 4修改于2018-10-03得票数 0
我正在尝试使用map reduce将数据写入alluxio。我在hdfs上有大约11G的数据，我正在向alluxio.It写入，MUST_CACHE写入类型(alluxio.user.file.writetype.default的默认值)可以很好地工作。但当我尝试使用CACHE_THROUGH编写它时，它失败了，并出现以下异常：
浏览 5修改于2018-10-04得票数 0
在Alluxio，我可以通过19998端口监视领头的主人。但我也想监视备用主机。但是，备用主机没有RPC端口19998。有什么办法监视备用主机吗？我希望监视进程的状态，并检查流程是否正常工作。
浏览 1提问于2019-03-12得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号