没有Databricks运行时的Delta Lake

Question

可以使用Delta Lake而不依赖于Databricks Runtime吗？(我的意思是，是否可以仅在prem上使用带有hdfs和spark的delta-lake？)如果没有，你能从技术角度解释为什么会这样吗？

Answer 1

是的，delta已经由databricks (https://delta.io/)开源。我使用的是deltalake(0.6.1)和apache spark(2.4.5) & S3。还可以使用许多其他集成来适应现有的技术堆栈，例如hive、presto、雅典娜等的集成。连接器：https://github.com/delta-io/connectors集成：https://docs.delta.io/latest/presto-integration.html & https://docs.delta.io/latest/integrations.html

Answer 2

根据这个https://vimeo.com/338100834，可以在没有数据库运行时的情况下使用Delta Lake。Delta Lake只是一个库，它通过维护每个表之外的特殊事务日志，“知道”如何以事务方式写入和读取表(拼接文件的集合)。当然，需要一个用于外部应用程序(例如配置单元)的特殊连接器才能处理这样的表。否则，事务性和一致性保证将无法实施。

Answer 3

根据文档：https://docs.delta.io/latest/quick-start.html#set-up-apache-spark-with-delta-lake，delta已经开源，可以与Apache Spark一起使用。通过将delta lake jar添加到代码或将库添加到spark安装路径，可以轻松完成集成。可以使用：https://github.com/delta-io/connectors完成配置单元集成。