首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在多模块环境下理解Python sqlite力学

问在多模块环境下理解Python sqlite力学
EN

Stack Overflow用户
提问于 2012-03-05 20:49:08
回答 2查看 2.4K关注 0票数 2

首先,我不知道“所有权”是否是正确的术语,这正是我在Java中所称的。

我目前正在构建一个使用SQLite的服务器,并且遇到了有关对象“所有权”的错误:

我有一个模块来管理SQLite数据库。我们叫它"pyDB“吧。简化:

代码语言:javascript
复制
import threading
import sqlite3

class DB(object):
    def __init__(self):
        self.lockDB = threading.Lock()
        self.conn = sqlite3.connect('./data.sqlite')
        self.c = self.conn.cursor()
        [...]

    def doSomething(self,Param):
        with self.lockDB:
            self.c.execute("SELECT * FROM xyz WHERE ID = ?", Param)

(请注意,lockDB对象的存在是因为数据库类可以由多个并发线程调用,而且尽管SQLite本身是线程安全的,但据我所知,cursor-Object并不安全)。

然后我有一个处理东西的工作线程。

代码语言:javascript
复制
import pyDB
self.DB = pyDB.DB()

class Thread(threading.Thread):
    [omitting some stuff that is not relevant here]
    def doSomethingElse(self, Param):
        DB.doSomething(Param)

如果执行此操作,将得到以下异常:

代码语言:javascript
复制
self.process(task)
File "[removed]/ProcessingThread.py", line 67, in process
  DB.doSomething(Param)
File "[removed]/pyDB.py", line 101, in doSomething
  self.c.execute(self,"SELECT * FROM xyz WHERE ID = ?", Param)
ProgrammingError: SQLite objects created in a thread can only be used in that same
  thread.The object was created in thread id 1073867776 and this is thread id 1106953360

现在,据我所见,这就是我遇到的早些时候问题(对象所有权不是授予初始化类,而是授予调用它的类)。(至少我理解它),这使我最终接受了我通常不理解Python中的对象所有权是如何工作的这一事实。为了得到一个可以理解的解释,我仔细阅读了Python文档,但没有找到任何解释。

所以,我的问题是:

  • 在这种情况下,谁拥有游标对象?处理线程还是DB线程?
  • 我在哪里能读到这些东西才能最终“得到”它?
  • “对象所有权”这一术语是否正确,或者在Python中还有其他术语吗?(编辑:有关这方面的解释,请参阅主要问题的评论)

我很乐意接受这个例子的具体建议,但我通常更感兴趣的是Python中“属于谁”的整个概念,因为在我看来,这与Java处理它的方式非常不同,而且由于我计划在将来大量使用Python,我最好现在就学习它,因为这是Python的一个非常重要的部分。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2012-03-05 21:08:12

ProgrammingError:在线程中创建的SQLite对象只能在同一线程中使用。

问题是,出于某种原因,您试图保存光标。你不该这么做。为每个事务创建一个新游标;或者如果您不完全确定事务从何处开始或结束,则每个查询都要创建一个新游标。

代码语言:javascript
复制
import sqlite3

class DB(object):
    def __init__(self):
        self.conn_uri = './data.sqlite'
        [...]

    def doSomething(self,Param):
        conn = sqlite.connect(self.conn_uri)
        c = conn.cursor()
        c.execute("SELECT * FROM xyz WHERE ID = ?", Param)

编辑,在您的问题中有评论:这里发生的事情与python没有什么关系。当您创建sqlite资源(它是一个C库,完全独立于python )时,sqlite要求只在创建它的线程中使用该资源。它通过查看当前正在运行的线程的线程ID来验证这一点,而不是试图协调资源从一个线程到另一个线程的传输。因此,您有义务在每个需要这些资源的线程中创建sqlite资源。

在代码中,可以在DB对象的__init__方法(可能只调用一次)和主线程中创建所有sqlite资源。因此,这些资源只允许在该线程中使用,threading.Lock不允许使用。

你的问题:

  • 在这种情况下,谁拥有游标对象?处理线程还是DB线程?

创建它的线程。因为看起来您在模块级别调用DB(),所以很可能它是主线程。

  • 我在哪里能读到这些东西才能最终“得到”它?

没什么可买的了。任何事情都不会发生在幕后,除了什么SQLite不得不在这件事上说,当你使用它。

  • “对象所有权”这一术语是否正确,或者在Python中还有其他术语吗?

Python实际上与线程无关,只是它允许您使用线程。正确协调多线程应用程序是你的责任。

再次编辑:

对象不存在于特定线程中。调用对象上的方法时,该方法在调用线程中运行。十个线程可以在同一个对象上调用相同的方法;所有线程都将同时运行(或者任何传递给GIL的方法),这取决于调用方或方法主体,以确保没有任何中断。

票数 4
EN

Stack Overflow用户

发布于 2012-03-08 04:58:52

我是Python的备用SQLite包装器的作者,并且非常熟悉这个问题。SQLite本身曾经要求对象-数据库连接和游标只能在同一个线程中使用。在SQLite 3.5中,这种情况被改变了,您可以并发地使用对象,尽管在内部SQLite执行了自己的锁定,因此实际上没有获得并发性能。默认的Python包装器(又名pysqlite)甚至支持SQLite 3的旧版本,因此它继续强制执行这一限制,尽管它对SQLite本身不再是必要的。但是,需要修改pysqlite代码以允许并发性,因为它包装SQLite的方式不安全-例如,处理错误消息是不安全的,因为SQLite API设计缺陷,需要特殊处理。

请注意,游标非常便宜。不要试图重用它们,也不要把它们当作珍贵的。实际的底层SQLite对象(sqlite3_stmt)保存在缓存中,并根据需要重用。

如果您确实需要最大的并发性,那么打开多个连接并同时使用它们。

APSW文档有更多关于多线程与重入的信息。请注意,它有额外的代码来允许pysqlite没有的实际并发使用,但其他提示和信息适用于SQLite的任何使用。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/9573768

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档