回答情况：
提问时间：
问题标签：
我使用的是Google，下面的导入不知何故不起作用：我得到了这个错误：我试图通过运行以下命令来安装bert：
!
浏览 8提问于2019-06-12得票数 11
回答已采纳
环境: Google
我正在用TensorFlow text进行文本令牌化
docs = tf.data.Dataset.from_tensor_slices([['Never tell me the odds.'], ["It's a trap!"]])
tokenized_docs = docs.map(lambda x: token
浏览 2提问于2020-04-20得票数 0
我的应用程序的页脚当前包含在web配置中设置的版本信息。现在，在每次发布之后，我都会手动将这个配置值更新为REL 2.0.1或2.0.3等。我们在RM路径中使用的构建总是以这种方式命名的。
浏览 2提问于2015-02-19得票数 0
我知道如何使用strtok()函数对字符串进行标记。现在，我将数据保存在链表中。如果我使用cin.ignore从用户那里获取输入，我将如何将输入的单词与我喜欢的列表中的数据进行比较。PS:这个概念是开发一个搜索引擎。
浏览 0提问于2012-11-20得票数 1
有多个产品供应商声称，他们的产品不需要存储令牌和相关的令牌化数据，就可以执行他们所称的无拱形令牌化或可逆令牌化。然而，他们也说令牌化与加密不一样，并且他们有一个专有的算法来标记和去标记输入数据。我认为标记化背后的最初想法是，生成一组伪随机数据，将伪随机数据分配给输入数据，并将两者之间的映射存储在一个强化的保险库中。如果您随后将令牌存储在您不太安全的系统中，并且数据被窃取，攻击者将几乎不可能对数据进行去标记，除非它们在保险库中也有映射的副本。
如果令牌是从源数据派生出来的，那么这难道不让攻击变得
浏览 0修改于2018-06-09得票数 14
回答已采纳
4 from .tokenization_openai import OpenAIGPTTokenizer 24 from .tokenization_transfo_xl import TransfoXLTokenizer---> 26 from .tokenizat
浏览 12提问于2019-09-19得票数 4
Tokenization是一个包含分解源代码的函数的类。public static boolean validationTypeOfSQL(String sourceFile, Tokenization tokenization,ArrayList<String> uniqueKeywordList) {
浏览 0修改于2015-07-16得票数 1
回答已采纳
3回答
<div class="checkbox"><label for="id_tokenization">
<input ng-click="addProperties()" name="tokenization" type="checkbox" ng-model="vault.tokenization" value="store.preauth.approved_response
浏览 1提问于2016-12-05得票数 0
1回答
= NULL){ final_tokenization[i] = string; dimension *= 2; final_tokenization[i] = string;
浏览 2提问于2022-10-13得票数 1
回答已采纳
例如，在tokenization.py中有一个函数convert_to_unicode：import tokenization from bert错误是：
NameError: name 'convert_t
浏览 3修改于2019-06-25得票数 6
回答已采纳
1回答
/inst/include/sourcetools/tokenization/Token.h: In constructor 'sourcetools::tokens::Token::Token()':/inst/include/sourcetools/tokenization/Token.h:27: error: 'nullptr' was not declared in this scope
../inst
浏览 4修改于2021-01-20得票数 1
二进制文件，但得到了以下错误：com.googlecode.clearnlp.tokenization.EnglishTokenizer.protectEmoticons(EnglishTokenizer.java:335) at glishTokenizer.ja
浏览 0提问于2016-12-07得票数 1
回答已采纳
getDirectTokenizationSpecification() if (Constants.DIRECT_TOKENIZATION_PARAMETERS.isEmpty() || Constants.DIRECT_TOKENIZATION_PUBLIC_KEY== null
浏览 1提问于2019-11-29得票数 2
我想将定义的函数"tokenization“应用于数据集"reviews_english”的列"Review Gast“的所有行。我该怎么做呢？目前，我只能将它应用于一行。谢谢！:) # Normalize text# Apply Bag-of-Words (set of tokens)
return bow
浏览 35提问于2021-06-04得票数 0
回答已采纳
include <stdio.h>
{ k++; else after_tokenizationhold_chars_of_one_group;
j+
浏览 6提问于2017-01-22得票数 1
回答已采纳
Local\Continuum\anaconda3\lib\site-packages\transformers\pipelines.py", line 40, in <module> from .tokenization_flaubert import FlaubertTokenizer
File "C:\Users\I323017\AppData\Local\Continuum\anaco
浏览 0修改于2020-05-08得票数 0
with tf.Graph().as_default(): tokenization_info = bert_module(signature="tokenization_info", as_dict=True) vocab_file, do_lower_case= sess.run([tokenization_info["vocab_file&qu
浏览 184修改于2020-03-26得票数 0
<stdin>", line 1, in <module> File "/home/user/anaconda3/lib&#
浏览 78提问于2020-06-29得票数 5
FullTokenizer = bert.bert_tokenization.FullTokenizer错误：()中的AttributeError回溯(最近一次调用)->1 FullTokenizer = bert.bert_tokenization.FullTokenizer5 do_lower_case = ber
浏览 33提问于2020-06-01得票数 0
{ "name": "elements-tokenization-not-possible", "message": "No Element capable of tokenization was found in the given Elements group
浏览 1修改于2020-07-02得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号