回答情况：
提问时间：
问题标签：
解释了tokenize的单个参数版本
调用fn:tokenize($input)等同于调用fn:tokenize(fn:normalize-space($input), ' '))，其中第二个参数是单个空格字符(x20然而，当我尝试使用count(tokenize('1 2 3')), count(tokenize('1 2 3'))和Sa
浏览 5提问于2018-09-18得票数 2
回答已采纳
有人知道nltk的wordpunct_tokenize和word_tokenize之间的区别吗?我使用的是nltk=3.2.4，但wordpunct_tokenize的文档字符串中没有任何东西可以解释这种不同。我在nltk的文档中也找不到这方面的信息(也许我没有搜索到正确的位置！)。
浏览 2提问于2018-05-09得票数 18
回答已采纳
word_tokenize之间有什么区别，一个直接从nltk导入，另一个从nltk的令牌包导入？
浏览 0提问于2019-07-29得票数 0
回答已采纳
1回答
root> <xsl:for-each select="tokenize"correspondents" select="." as="xs:string"/>
<xsl:variable name="c
浏览 28修改于2019-02-01得票数 0
回答已采纳
我使用的是str:tokenize()，但是分隔符可能只有一个字符，即使分隔符由更多的字符组成，tokenize()也会搜索分隔符中列出的字符。Delimiter : |@@|
str:tokenize(&InputStringstr:tokenize()做错了什么？
浏览 2修改于2018-11-18得票数 0
我将在集群上使用nltk.tokenize.word_tokenize，在这个集群中，我的帐户受到空间配额的限制。您能建议nltk.tokenize.word_tokenize的最小(或几乎最小)依赖项是什么吗？
浏览 1提问于2016-05-08得票数 22
回答已采纳
nltk.download()os.getcwd()p = text_file.read()>>> 我认为问题在于wo
浏览 0提问于2015-01-03得票数 2
我正在使用NLTK的sent_tokenize来拆分句子。
该模块不会使用缩写分隔句子，例如U.S.，U.S.A，U.K.。当缩写位于句子中间时，这是合理的。例如：“美国市场做得很好。”
浏览 11提问于2021-02-18得票数 0
回答已采纳
我试图使用sent_tokenize和word_tokenize通过数据来标记。import pandas as pdCorpus=pd.read_csv128, in word_tokenize
sentences = [text] if preserve_line else
浏览 1提问于2018-10-16得票数 1
例如：['He', 'said', '``', 'hey', 'Bill', '!', "''"]
为什么它
浏览 3提问于2015-06-26得票数 3
回答已采纳
我尝试过split("/n")和word_tokenize的句子，但我得到了以下错误： File "final.py", line/python2.7/site-packages/nltk/tokenize/__init__.py", line 128, in word_tokenize
sentences = [text/site-pack
浏览 0修改于2018-03-25得票数 0
回答已采纳
我刚刚开始使用XSLT，并尝试在XSLT1.0中使用str:tokenize()模板。我查过了：这是代码： <xsl:variable name="var" select="John.Wayne"/> <xsl:for-each select="str:tokenize
浏览 1提问于2014-09-15得票数 1
回答已采纳
但是const tokenize2 = require('./scripts/tokenize2.js');不能工作。
有人能教我如何在node.js中使用它吗？
浏览 1提问于2017-12-28得票数 0
尝试使用word_tokenize和sent_tokenize标记带有新行的段落，但它无法识别新行。para="the new line \n new char"如果在python中以字符串格式指定数据，但在从docx文件中提取数据时失败，则它可
浏览 12修改于2018-02-05得票数 1
回答已采纳
在python2.x中，tokenize()函数有两个参数，即'readline‘和'tokeneater’。第二个参数负责tokenize()的输出机制，并为每个标记调用一次。
浏览 3提问于2011-02-09得票数 1
回答已采纳
我有一个使用文件并将其拆分的路由：.split(body().tokenize("\n", 100, false)).streaming() .split(body().tokenize("\n", simple("...pull headervalue..."), false))
但是，tokeni
浏览 1提问于2017-03-09得票数 0
回答已采纳
sidiy\AppData\Local\Programs\Python\Python38-32\lib\linecache.py", line 136, in updatecacheAttributeError: module 'tokenize' has no attribute 'open'
我正在尝试在我的电脑上安装Django，无论何时我尝试它都会显示上面的
浏览 1修改于2020-12-01得票数 0
我使用tokenize()函数来迭代一组值，但是我尝试在模板调用中使用这些值--出现"Not a node item“错误。<xsl:for-each select="tokenize($edge_pairs,';')">
<xsl:if test="number(string-length(
浏览 0提问于2014-11-23得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号