首先,我不知道“所有权”是否是正确的术语,这正是我在Java中所称的。
我目前正在构建一个使用SQLite的服务器,并且遇到了有关对象“所有权”的错误:
我有一个模块来管理SQLite数据库。我们叫它"pyDB“吧。简化:
import threading
import sqlite3
class DB(object):
def __init__(self):
self.lockDB = threading.Lock()
self.conn = sqlite3.connect('./data.sqlite')
self.c = self.conn.cursor()
[...]
def doSomething(self,Param):
with self.lockDB:
self.c.execute("SELECT * FROM xyz WHERE ID = ?", Param)(请注意,lockDB对象的存在是因为数据库类可以由多个并发线程调用,而且尽管SQLite本身是线程安全的,但据我所知,cursor-Object并不安全)。
然后我有一个处理东西的工作线程。
import pyDB
self.DB = pyDB.DB()
class Thread(threading.Thread):
[omitting some stuff that is not relevant here]
def doSomethingElse(self, Param):
DB.doSomething(Param)如果执行此操作,将得到以下异常:
self.process(task)
File "[removed]/ProcessingThread.py", line 67, in process
DB.doSomething(Param)
File "[removed]/pyDB.py", line 101, in doSomething
self.c.execute(self,"SELECT * FROM xyz WHERE ID = ?", Param)
ProgrammingError: SQLite objects created in a thread can only be used in that same
thread.The object was created in thread id 1073867776 and this is thread id 1106953360现在,据我所见,这就是我遇到的早些时候问题(对象所有权不是授予初始化类,而是授予调用它的类)。(至少我理解它),这使我最终接受了我通常不理解Python中的对象所有权是如何工作的这一事实。为了得到一个可以理解的解释,我仔细阅读了Python文档,但没有找到任何解释。
所以,我的问题是:
我很乐意接受这个例子的具体建议,但我通常更感兴趣的是Python中“属于谁”的整个概念,因为在我看来,这与Java处理它的方式非常不同,而且由于我计划在将来大量使用Python,我最好现在就学习它,因为这是Python的一个非常重要的部分。
发布于 2012-03-05 21:08:12
ProgrammingError:在线程中创建的SQLite对象只能在同一线程中使用。
问题是,出于某种原因,您试图保存光标。你不该这么做。为每个事务创建一个新游标;或者如果您不完全确定事务从何处开始或结束,则每个查询都要创建一个新游标。
import sqlite3
class DB(object):
def __init__(self):
self.conn_uri = './data.sqlite'
[...]
def doSomething(self,Param):
conn = sqlite.connect(self.conn_uri)
c = conn.cursor()
c.execute("SELECT * FROM xyz WHERE ID = ?", Param)编辑,在您的问题中有评论:这里发生的事情与python没有什么关系。当您创建sqlite资源(它是一个C库,完全独立于python )时,sqlite要求只在创建它的线程中使用该资源。它通过查看当前正在运行的线程的线程ID来验证这一点,而不是试图协调资源从一个线程到另一个线程的传输。因此,您有义务在每个需要这些资源的线程中创建sqlite资源。
在代码中,可以在DB对象的__init__方法(可能只调用一次)和主线程中创建所有sqlite资源。因此,这些资源只允许在该线程中使用,threading.Lock不允许使用。
你的问题:
创建它的线程。因为看起来您在模块级别调用DB(),所以很可能它是主线程。
没什么可买的了。任何事情都不会发生在幕后,除了什么SQLite不得不在这件事上说,当你使用它。
Python实际上与线程无关,只是它允许您使用线程。正确协调多线程应用程序是你的责任。
再次编辑:
对象不存在于特定线程中。调用对象上的方法时,该方法在调用线程中运行。十个线程可以在同一个对象上调用相同的方法;所有线程都将同时运行(或者任何传递给GIL的方法),这取决于调用方或方法主体,以确保没有任何中断。
发布于 2012-03-08 04:58:52
我是Python的备用SQLite包装器的作者,并且非常熟悉这个问题。SQLite本身曾经要求对象-数据库连接和游标只能在同一个线程中使用。在SQLite 3.5中,这种情况被改变了,您可以并发地使用对象,尽管在内部SQLite执行了自己的锁定,因此实际上没有获得并发性能。默认的Python包装器(又名pysqlite)甚至支持SQLite 3的旧版本,因此它继续强制执行这一限制,尽管它对SQLite本身不再是必要的。但是,需要修改pysqlite代码以允许并发性,因为它包装SQLite的方式不安全-例如,处理错误消息是不安全的,因为SQLite API设计缺陷,需要特殊处理。
请注意,游标非常便宜。不要试图重用它们,也不要把它们当作珍贵的。实际的底层SQLite对象(sqlite3_stmt)保存在缓存中,并根据需要重用。
如果您确实需要最大的并发性,那么打开多个连接并同时使用它们。
APSW文档有更多关于多线程与重入的信息。请注意,它有额外的代码来允许pysqlite没有的实际并发使用,但其他提示和信息适用于SQLite的任何使用。
https://stackoverflow.com/questions/9573768
复制相似问题