Databricks Connect:自动接受许可提示

Question

我正在尝试编写一个Dockerfile来构建一个利用Databricks Conenect的容器。因此，我需要通过Docker RUN命令来设置和安装Databricks Connect。我有以下几点：

FROM python:3.8
COPY requirements.txt /tmp/
RUN apt-get update\
    && apt-get install software-properties-common -y\
    && apt-get update\
    && apt-add-repository "deb http://security.debian.org/debian-security stretch/updates main"\
    && apt-get update\
    && apt-get install openjdk-8-jdk -y
RUN pip install --requirement /tmp/requirements.txt\
    && databricks-connect configure\
    && databricks-connect test

作为一个简单的例子，它产生了我的问题。步骤：databricks-connect configure提示使用默认N接受许可，因此抛出以下错误：

...
#14 1.345 Do you accept the above agreement? [y/N] Traceback (most recent call last):
#14 1.346   File "/usr/local/bin/databricks-connect", line 8, in <module>
#14 1.346     sys.exit(main())
#14 1.346   File "/usr/local/lib/python3.8/site-packages/pyspark/databricks_connect.py", line 281, in main
#14 1.346     configure()
#14 1.346   File "/usr/local/lib/python3.8/site-packages/pyspark/databricks_connect.py", line 119, in configure
#14 1.346     accept = input().strip()
#14 1.346 EOFError: EOF when reading a line
------
executor failed running [/bin/sh -c databricks-connect configure]: exit code: 1

如何将其自动接受为Docker构建的一部分？

Answer 1

您需要使用类似这样的内容(从this demo窃取)，因为除了接受许可条款之外，您还需要提供其他参数：

echo "y
$(databricks_host)
$(databricks_token)
$(cluster_id)
$(org_id)
15001" | databricks-connect configure

或者你可以只生成JSON格式的~/.databricks-connect文件：

{
  "host": "https://host",
  "cluster_id": "cluster",
  "org_id": "org_id",
  "port": "15001"
}