blocks|key|174749|text|使用PreloadingGenerator，以便分批加载页面。如果使用直接DB访问，则为MySQLPageGenerator。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|174750|参见示例这里。|174751|entityMap|0|LINK|mutability|MUTABLE|url|https://www.mediawiki.org/wiki/Manual:Pywikibot/pagegenerators.py#Calls_from_another_program^0|2|J|18|I|0|4|2|0|0^^$0|@$1|2|3|4|5|6|7|P|8|@$9|Q|A|R|B|C]|$9|S|A|T|B|C]]|D|@]|E|$]]|$1|F|3|G|5|6|7|U|8|@]|D|@$9|V|A|W|1|X]]|E|$]]|$1|H|3|-4|5|6|7|Y|8|@]|D|@]|E|$]]]|I|$J|$5|K|L|M|E|$N|O]]]]

Use <code>PreloadingGenerator</code> so that pages are loaded in batches. Or <code>MySQLPageGenerator</code> if you use direct DB access.

See examples <a href="https://www.mediawiki.org/wiki/Manual:Pywikibot/pagegenerators.py#Calls_from_another_program" rel="noreferrer">here</a>.

blocks|key|1341675|text|我在命令中使用"-pt:1“选项来进行每秒一次编辑。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1341676|我目前正在运行命令|1341677|python+pwb.py+category+add+-pt:1+-file:WX350.txt+-to:"Taken+with+Sony+DSC-WX350"|code-block|syntax|javascript|1341678|选项|offset|length|1341679|entityMap|0|LINK|mutability|MUTABLE|url|https://www.mediawiki.org/wiki/Manual:Pywikibot/Global_Options^0|0|0|0|0|2|0|0^^$0|@$1|2|3|4|5|6|7|U|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|V|8|@]|9|@]|A|$]]|$1|D|3|E|5|F|7|W|8|@]|9|@]|A|$G|H]]|$1|I|3|J|5|6|7|X|8|@]|9|@$K|Y|L|Z|1|10]]|A|$]]|$1|M|3|-4|5|6|7|11|8|@]|9|@]|A|$]]]|N|$O|$5|P|Q|R|A|$S|T]]]]

I'm using "-pt:1" option in the command to make one edit per second.

I'm currently running the command

<pre><code>python pwb.py category add -pt:1 -file:WX350.txt -to:"Taken with Sony DSC-WX350"
</code></pre>

<a href="https://www.mediawiki.org/wiki/Manual:Pywikibot/Global_Options" rel="nofollow noreferrer">https://www.mediawiki.org/wiki/Manual:Pywikibot/Global_Options</a>

blocks|key|174809|text|看起来，pagegenerators确实是一个加快速度的好方法。最好的文档是直接在源中。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|174810|即使在那里，也不清楚将MySQL连接的细节放在哪里。(希望能更新这一点。)|174811|entityMap|0|LINK|mutability|MUTABLE|url|https://github.com/wikimedia/pywikibot-core/blob/master/pywikibot/pagegenerators.py#L2280^0|4|E|12|5|0|0|0^^$0|@$1|2|3|4|5|6|7|P|8|@$9|Q|A|R|B|C]]|D|@$9|S|A|T|1|U]]|E|$]]|$1|F|3|G|5|6|7|V|8|@]|D|@]|E|$]]|$1|H|3|-4|5|6|7|W|8|@]|D|@]|E|$]]]|I|$J|$5|K|L|M|E|$N|O]]]]

Looks like <code>pagegenerators</code> is indeed a good way to speed up things. The best documentation for that is <a href="https://github.com/wikimedia/pywikibot-core/blob/master/pywikibot/pagegenerators.py#L2280" rel="nofollow">directly in the source</a>.

Even in there it's not directly clear where to put the MySQL connection details. (Will update this hopefully.)

blocks|key|174972|text|type|blockquote|depth|inlineStyleRanges|entityRanges|data|174973|禁用节流，脚本是只读的，所以page.get(throttle=False)处理这个问题。|unordered-list-item|174974|自Pywikibot+2.0+(以前称为重写)以来，不支持Page.get()的“油门”参数，并在5.0.0中删除了该参数。Pywikibot+2.0%2B默认情况下没有激活get节流阀。减少腐节流阀只适用于将页面放到wiki上，并且可能受到本地策略的限制。永远不要接触与服务器相关的max滞后参数。|unstyled|174975|如果您正在使用多个站点，则第一次运行需要大量时间，直到缓存所有站点对象。PreloadingGenerator可以用于页面内容的大容量加载，但如果只需要元数据，则会降低速度。总之，加快脚本的速度取决于您的实现和您的需要。|174976|entityMap^0|0|0|0|0^^$0|@$1|2|3|-4|4|5|6|K|7|@]|8|@]|9|$]]|$1|A|3|B|4|C|6|L|7|@]|8|@]|9|$]]|$1|D|3|E|4|F|6|M|7|@]|8|@]|9|$]]|$1|G|3|H|4|F|6|N|7|@]|8|@]|9|$]]|$1|I|3|-4|4|F|6|O|7|@]|8|@]|9|$]]]|J|$]]

<blockquote>
<ul>
<li>Disable throttling, the script is read-only, so page.get(throttle=False) handles this</li>
</ul>
</blockquote>
&quot;throttle&quot; parameter of Page.get() is not supported since Pywikibot 2.0 (formerly known as rewrite) and was removed in 5.0.0. Pywikibot 2.0+ has not activated a get throttle by default. Decreasing putthrottle is only for putting a page to the wiki and may be restricted by local policies. Never touch maxlag parameter which is server related.
If you are using multiple sites the first run needs a lot of time until all site objects are cached. PreloadingGenerator can be be used for bulk load of page contents but decreases speed if meta data are required only. In summary speeding up your script depends on you implementation and your need.

blocks|key|1341660|text|使用来自PreloadingGenerator的pagegenerators是最简单的方式来加速一些需要从在线wiki中阅读的程序，其他答案已经指出了这一点。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|1341661|其他方法有：|1341662|下载wiki的转储并在本地读取。维基媒体项目每周更新一次转储。|unordered-list-item|1341663|在维基媒体实验室上创建一个帐户，在那里享受与维基百科的快速连接和更新转储的工作。|1341664|如果目标wiki有反对它的策略，修改throttle可能会使您面临被封锁的危险--我担心维基百科也有这样的策略。|1341665|entityMap|0|LINK|mutability|MUTABLE|url|https://www.mediawiki.org/wiki/Wikimedia_Labs^0|4|J|O|E|0|0|0|1|7|0|0|I|8|0^^$0|@$1|2|3|4|5|6|7|W|8|@$9|X|A|Y|B|C]|$9|Z|A|10|B|C]]|D|@]|E|$]]|$1|F|3|G|5|6|7|11|8|@]|D|@]|E|$]]|$1|H|3|I|5|J|7|12|8|@]|D|@]|E|$]]|$1|K|3|L|5|J|7|13|8|@]|D|@$9|14|A|15|1|16]]|E|$]]|$1|M|3|N|5|6|7|17|8|@$9|18|A|19|B|C]]|D|@]|E|$]]|$1|O|3|-4|5|6|7|1A|8|@]|D|@]|E|$]]]|P|$Q|$5|R|S|T|E|$U|V]]]]

Using <code>PreloadingGenerator</code> from <code>pagegenerators</code> is the simplest way to speed some programs that need to read a lot from online wikis, as other answers have already pointed.

Alternative ways are:

<ul>
<li>Download a dump of the wiki and read it locally. Wikimedia projects offer dumps updated about once a week.</li>
<li>Create an account on <a href="https://www.mediawiki.org/wiki/Wikimedia_Labs" rel="nofollow noreferrer">Wikimedia Labs</a> and work from there enjoying from faster connection with Wikipedias and updated dumps.</li>
</ul>

Modifying <code>throttle</code> might put you in danger of getting blocked if the target wiki has a policy against it - and I'm afraid Wikipedia has such a policy.

blocks|key|856029|text|您可以在这个站点的转储文件中预先下载所有数据--然后可以使用两次传递--首先从本地转储读取数据，然后第二次传递只读取在本地转储中发现问题的远程页面。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|856030|示例：|856031|dump_file+=+hewiktionary-latest-pages-articles.xml.bz2

all_wiktionary+=+XmlDump(dump_file).parse()
gen+=+(pywikibot.Page(site,+p.title)+for+p+in+all_wiktionary+if+report_problem(p))
gen+=+pagegenerators.PreloadingGenerator(gen)
for+page+in+gen:
++++report_problem(page)|code-block|syntax|javascript|856032|entityMap^0|0|0|0^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|L|8|@]|9|@]|A|$]]|$1|D|3|E|5|F|7|M|8|@]|9|@]|A|$G|H]]|$1|I|3|-4|5|6|7|N|8|@]|9|@]|A|$]]]|J|$]]

You can download all the data in advance in a dump file in this site
<a href="http://dumps.wikimedia.org" rel="nofollow noreferrer">http://dumps.wikimedia.org</a>
You can then use a two passes - first pass reads the data from the local dump,
then the second pass reads only the remote pages for which you found issues in the local dump.

Example:

<pre><code>dump_file = hewiktionary-latest-pages-articles.xml.bz2

all_wiktionary = XmlDump(dump_file).parse()
gen = (pywikibot.Page(site, p.title) for p in all_wiktionary if report_problem(p))
gen = pagegenerators.PreloadingGenerator(gen)
for page in gen:
 report_problem(page)
</code></pre>

I've built some report tools using <a href="https://www.mediawiki.org/wiki/Manual:Pywikibot" rel="nofollow noreferrer">Pywikibot</a>. As things are growing it now takes up to 2 hours to finish the reports so I'm looking to speed things up. Main ideas:

<ul>
<li>Disable throttling, the script is read-only, so <code>page.get(throttle=False)</code> handles this</li>
<li>Cache</li>
<li>Direct database access</li>
</ul>

Unfortunately I can't find much documentation about caching and db access. Only way seems to dive into the code, and well, there's limited information about database access in <code>user-config.py</code>. If there is any, where can I find good documentation about pywikibot caching and direct db access?

And, are there other ways to speed things up?

How to speed up Pywikibot?

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

我使用构建了一些报告工具。随着事情的发展，它现在需要2个小时来完成报告，所以我希望加快速度。主要想法：禁用节流，脚本是只读的，所以page.get(throttle=False)会处理这个问题。缓存直接数据库访问不幸的是，我找不到很多关于缓存和数据库访问的文档。唯一的方法似乎是深入研究代码，而且在user-config.py中有关数据库访问的信息有限。如果有，我在哪里可以找到关于pywikibot

问如何加快Pywikibot的速度？
EN

回答 6

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何加快Pywikibot的速度？EN

回答 6

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何加快Pywikibot的速度？
EN