多线程python psycopg2

Question

我在python的程序中使用多线程。我排了三个队。在其中一个中，我将数据插入postgres数据库。但在此之前，我需要检查数据库中是否已经存在带有特定域名的行。所以我有：

class AnotherThread(threading.Thread):
    def __init__(self, another_queue):
        threading.Thread.__init__(self)
        self.another_queue = another_queue


    def run(self):
        while True:
            chunk = self.another_queue.get()
            if chunk is not '':
                dane = chunk[0].split(',',2)

                cur.execute("SELECT exists(SELECT 1 FROM global where domain = %s ) ", (domena,))
                jest = cur.fetchone()
                print(jest)

这是我第三个队列代码的一部分。我在这里连接到数据库(在main()函数中)：

queue = Queue.Queue()
out_queue = Queue.Queue()
another_queue = Queue.Queue()

for i in range(50):
    t = ThreadUrl(queue, out_queue)
    t.setDaemon(True)
    t.start()

for host in hosts:
    queue.put(host)

for i in range(50):
    dt = DatamineThread(out_queue,another_queue)
    dt.setDaemon(True)
    dt.start()

conn_str = "dbname='{db}' user='user' host='localhost' password='pass'"
conn = psycopg2.connect(conn_str.format(db='test'))
conn.autocommit = True
cur = conn.cursor()

for i in range(50):
    dt = AnotherThread(another_queue)
    dt.setDaemon(True)
    dt.start()



queue.join()
out_queue.join()
another_queue.join()

cur.close()
conn.close()

当我运行我的脚本时，我得到了：

(False,)
(False,)
(False,)
(False,)
(False,)
(False,)
(False,)
(False,)
(False,)
Exception in thread Thread-128:
Traceback (most recent call last):
  File "/usr/lib/python2.7/threading.py", line 810, in __bootstrap_inner
    self.run()
  File "domains.py", line 242, in run
    jest = cur.fetchone()
ProgrammingError: no results to fetch

Exception in thread Thread-127:
Traceback (most recent call last):
  File "/usr/lib/python2.7/threading.py", line 810, in __bootstrap_inner
    self.run()
  File "domains.py", line 242, in run
    jest = cur.fetchone()
ProgrammingError: no results to fetch

(False,)
(False,)
(False,)

为什么他们中的一些人会犯错误？

Answer 1

这可能与所有线程共享相同的连接和游标有关。我可以想象，在这样的情况下，cur.execute()被运行，然后cur.fetchone()由另一个线程运行，然后cur.fetchone()再次被线程运行(又是另一个线程，还是同一个线程或前一个线程)，其间没有cur.execute。Python将在每一行线程之间切换(语句)。因此，第二次运行fetchone()时，就没有结果了:最初只有一行要获取，现在已经耗尽了。

您可能希望隔离每个游标，或者以某种方式使cur.execute(...); cur.fetchone()命令具有原子性。

are transactions in postgresql via psycopg2 per cursor or per connection (DBA StackExchange链接)问题的答案是每个连接都有事务，所以隔离游标可能对您没有帮助。