如何从在python中通过kafka摄取数据的德鲁伊获取数据？

Question

我为德鲁伊创建了数据模式，然后通过这个命令启用了德鲁德卡夫卡的摄入。

curl -XPOST -H'Content-Type: application/json' -d @quickstart/tutorial/my_schema.json http://localhost:8081/druid/indexer/v1/supervisor

到目前一切尚好。然后在python中我制作了卡夫卡制片人的剧本

        for line in lines:

            producer.send('vtintel', value=line)
            sleep(1)

我可以通过kafka消费者获取数据，但在python中不能用pydruid获取数据。

当我试图这样做的时候

from pydruid.db import connect

conn = connect(host='localhost', port=8082, path='/druid/v2/sql/', 
scheme='http')
curs = conn.cursor()
curs.execute("""
  SELECT detected,domain
  FROM vtintel
  LIMIT 10
""")
for row in curs:
   print(row)

我知道错误：

pydruid.db.exceptions.ProgrammingError: Unknown error (Unknown):

Answer 1

在使用pydruid.db时遇到了同样的问题，但能够使用SQLAlchemy连接到Druid。

from sqlalchemy import *
from sqlalchemy.engine import create_engine
from sqlalchemy.schema import *

engine = create_engine('druid+http://<your_host>:8082/druid/v2/sql/')
# use 'https' if applicable as shown below
# engine = create_engine('druid+https://localhost:8082/druid/v2/sql/')

druid_test = Table('<ur_table_name>', MetaData(bind=engine), autoload=True)
print(select([func.count('*')], from_obj=druid_test).scalar())