使用Docker容器建立数据科学前端的简单方法是什么？

Question

我想建立一个使用Docker容器的数据科学前端测试环境。该平台应该提供一个用户友好的界面，并能够管理巨大的CSV文件.我的第一种方法是使用Anaconda发行版，以便利用Python和木星笔记本的灵活性。不幸的是，考虑到我的团队主要使用Python (例如Pandas)的数据科学库，这个解决方案在使用大型CSV时太慢了。我考虑使用像Hue这样的前端迁移到HDFS，以便在导出数据之前使用SQL处理数据，并使用其他工具对其进行数据科学处理。但是，这种方法太复杂了(为了使用Hue，需要设置Hadoop和许多其他东西)。此外，据我所知，没有提供Hadoop的官方容器。据我了解，Hue Docker容器不提供HDFS。

是否有某种容器已经可用，它提供了以下内容：

• 在web中或通过简单方式(例如.SFTP)加载(大型)文件(例如CSV)的可能性
• 使用类似SQL的工具通过web处理大数据，以便创建中间数据/可视化。
• 以CSV或其他格式导出数据的可能性
• 与其他数据科学工具集成将是有益的。

谢谢!

Answer 1

Hue要求您启用现有Hadoop集群上的WebHDFS来使用文件浏览器。

默认的Docker映像配置为只访问在localhost上运行的所有服务，但不应该在Hue容器中安装Hadoop。

我个人认为BigData欧洲容器是最可配置的。您需要一个namenode和datanode容器。

然后，如果HDFS正在执行用户帐户检查，则需要在Hue中配置一个登录方法，该方法将通过HDFS用户名传递。我不相信默认情况会这样做。

可以通过使用hue.ini配置文件的卷挂载来配置色调容器。