我正在运行一个使用Swift作为underfs的小型Alluxio (1.7.0)集群。
我已经确认了Alluxio在写入和读取文件并将其持久化到Swift商店的过程中非常出色。
我想通过Alluxio访问Swift商店上的文件,这些文件是从单独的客户端保存的,但由于Alluxio master中没有元数据,因此这些新文件不可见。我知道这是预期的功能,但我想问的是,是否有任何配置选项或解决方案可以使在Alluxio中可见的underfs中的新文件可见?
发布于 2018-01-26 05:21:58
您可以通过强制Alluxio加载UFS元数据来使Alluxio知道新的UFS文件。这可以使用ls -f命令来完成。-f选项强制从UFS加载,以发现UFS文件。ls documentation提供了有关该命令的更多详细信息。例如:
bin/alluxio fs ls -f /mnt/swift/dir/
将在/mnt/swift/dir/目录中发现新的UFS文件。
https://stackoverflow.com/questions/48448034
复制相似问题