- 综合排序
- 最热优先
- 最新优先
- 来自专栏Lambda
5.access_token和refresh_token时效如何设置
access_token和refresh_token实效如何设置 什么时候需要用户跳转到登录页面重新登录？ token 过期了就需要用户跳转到等页面重新登录？ 时效设置 为了保证能够刷新用户端的 access_token ，refresh_token 的有效时间不能小于 用户活跃时间点，假设 access_token 有效时间为et，那么用户在[access_token 起始时间，2 * et]时间内用户都是活跃的，因此 refresh_token 的有效时间 >= 2 * access_token 一般,refresh_token 的有效时间 > 2 * access_token 的有效时间 比如，access_token 实效7天，那么 refresh_token 实效可以给15天,也可以给30天 当然，access_token和refresh_token 的时长具体多少 刷新refresh_token 每次 刷新access_token 时判断 refresh_token 是否快过期 [ refresh_token 剩余有效时间 <= 2*access_token实效
2.6K10发布于 2020-02-14 - 来自专栏苏三说技术
Token续期的5种方案
如何续期：单Token还是双Token？有状态还是无状态？ 安全防控：如何防止令牌劫持和并发风暴？ 下面我跟大家一起聊聊工作中最常用的5种主流方案，希望对你会有所帮助。 oldToken) { // 旧Token加入黑名单（有效期比Token长5分钟） redis.setex("blacklist:"+oldToken, "1", 35 * 60); refreshToken; RLock lock = redissonClient.getLock(lockKey); try { if (lock.tryLock(2, 5, = token.getTotalValidTime(); // 双阈值策略：绝对时间（5分钟）和相对时间（30%有效期） return remainTime <= Math.min (5 * 60 * 1000, 0.3 * totalTime); } 4.2 Redis缓存续期方案 public void autoRenewToken(String headerToken) {
1K10编辑于 2025-08-24 - 来自专栏小孟开发笔记
to5 分词查询（多条件模糊查询）
p5 使用数组查询时，一个字段有多个搜索词时的写法 $option[‘question’]=[ [‘like’,’%’.’乐刷’.’%’], [‘like’,’%’.’666′.’%’], ‘or =Db::name(‘user_biji’)->page(query)use(keyword){ query->whereor(‘title’,’like’,”% 未经允许不得转载：肥猫博客 » to5 分词查询（多条件模糊查询）
2.8K40编辑于 2023-02-20 - 来自专栏机器学习原理
NLP（2）——中文分词分词的概念分词方法分类CRFHMM分词
分词的概念 简单来说就是把词进行分开，分词的难点： 1.如何避免歧义，如：“白开水不如果汁甜”。如何让机器避免将“如果”分到一起。 分词方法分类 基于词典的分词算法 基于词典的分词算法又称为机械分词算法，它是按照一定的策略将待分析的汉字串与一个“充分大的机器词典”中的词条进行匹配 , 若在词典中找到某个字符串, 则匹配成功,认为这个字串是词并将之切分出来 基于词典的分词算法有三个要素,分词词典、扫描方向（正向、逆向）和匹配原则（最大匹配，最小匹配等）[2]。 正向最大匹配算法。 基于统计的分词算法和基于理解的分词算法 基于统计的分词算法主要思想是，词是稳定的字的组合，两个字在文本中连续出现的次数越多，就越有可能组合成一个词。 就是在原来分类的基础上考虑到了时序，开始（B），中间（B），结尾（E），以及单字构成的词（S） CRF分词的过程就是对词位标注后，将B和E之间的字，以及S单字构成分词 CRF学习的过程： 就是描述一些特征配置
2.4K50发布于 2018-07-24 - 来自专栏EdisonTalk
Elastic学习之旅 (5) 倒排索引和Analyzer分词
"start_offset" : 28, "end_offset" : 32, "type" : "<ALPHANUM>", "position" : 5 （5）Keyword Analyzer GET /_analyze { "analyzer": "keyword", "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening." } 分词结果：不做任何分词处理，而是将输入整体作为一个term。 通常用于不需要对输入做分词的场景。 可以看到，ES支持的语言分词器中，没有支持中文，这是因为：中文分词存在较大的难点，不像英语那么简单。
78710编辑于 2024-03-03 - 来自专栏全栈程序员必看
结巴分词库_中文分词
一、（3） 结巴分词 在介绍结巴分词前，我们先以一个简单的例子演示一下分词，例如有这样一句话：“结巴分词是一个效率很好的分词方法”，一般我们会直观地从左向右扫视这句话，接着分词成“结巴 / 分词 / 是 数字1-7代表每个词位置，对于位置1，就是1-1的意思，表示“在”一字，对于2-（2、3、5），表示从位置2开始，2-2、2-3、2-5都表示词，即“财”、“财经”、“财经大学”，对于每一个位置的划分， 最终得到最优的状态序列，然后再根据状态序列，输出分词结果。 分词模式 结巴中文分词支持的三种分词模式包括：全模式、精确模式和搜索引擎模式。 ./ .一 .数 .日 / // 0 1 2 3 4 5 6 7 8 9 : :// :: ; < = > >> ? ＃ ＄ ％ ＆ ＇ （ ） ）÷（１－ ）、 ＊ ＋ ＋ξ ＋＋ ， ，也 － －β －－ －［＊］－ ． ／ ０ ０：２ １ １． １２％ ２ ２．３％ ３ ４ ５ ５：０ ６ ７ ８ ９ ： ； ＜
1.9K10编辑于 2022-11-01 - 来自专栏房东的猫
Elasticsearch分词：Ansj分词器
from [false] to [true] [2021-07-16T18:18:31,936][INFO ][o.e.l.LicenseService ] [node-1] license [5cb32362 精准分词是Ansj分词的店长推荐款。 NlpAnalysis 带有新词发现功能的分词 nlp分词是总能给你惊喜的一种分词方式。 IndexAnalysis 面向索引的分词 面向索引的分词。顾名思义就是适合在lucene等文本检索中用到的分词。 主要考虑以下两点 召回率 * 召回率是对分词结果尽可能的涵盖。 library.properties #支持同义词 synonyms=src/main/resources/userLibrary/synonyms.dic 注意：词典的加载都是懒加载 Ansj支持5种词典
4.1K11发布于 2021-07-16 - 来自专栏站长的编程笔记
jwt token 鉴权验证 【firebase 5.x】
JWT 功能封装类 5. JWT 鉴权控制器 1. JWT 功能封装类 安装扩展包 composer require firebase/php-jwt:'5.*' <? = JWT::encode($token, $this->key); // 创建token $this->cache($data['uid'], $token); // 将token存入缓存 return $token; // 返回token } /** * 解析token * * @param string $token 前端请求携带的token string $token 前端请求携带的token * @return boolean true token 有效 false 已过期 */ public function
4K20编辑于 2022-12-31 - 来自专栏房东的猫
Elasticsearch分词：内置分词器
"Set the shape to semi-transparent by calling set_trans(5)" 标准分词器（默认使用） 分词结果： set, the, shape, to, semi end_offset" : 5, "type" : "<IDEOGRAPHIC>", "position" : 4 }, { "token" : "医 "end_offset" : 5, "type" : "shingle", "position" : 3 }, { "token" : "和 医 院" " : 4 }, { "token" : "院", "start_offset" : 5, "end_offset" : 6, "type type" : "shingle", "position" : 3 } ] } 逗号分词器 { "analysis":{ "analyzer":{
2.4K71发布于 2020-12-18 - 来自专栏johnhuster
elasticsearch5.x以后版本引入中文分词器
看下分词效果，待分析文本为：中华人民共和国解放军hello 使用elasticsearch自带的standard分析器： ik分析器分词效果： 好了下面直接给出实现方案： 1、下载ik插件，放在elasticsearch } } } } } } PS：低版本elasticsearch把上面的配置放在elasticsearch.yml文件中，但5. x以后需要通过上面的方式设置 5、验证分词效果： 参考：https://github.com/medcl/elasticsearch-analysis-ik
38900编辑于 2022-03-29 - 来自专栏大模型系列
万字长文：解密 AI 时代的原子——Token 的分词、计费与隐私计算
第一章：Token 的诞生——大模型分词器（Tokenizer）全解析 Token 并非天然存在，而是由一个名为 Tokenizer（分词器） 的组件创造出来的。它是连接人类语言与机器语言的桥梁。 → [15496, 11, 995, 0] 这个映射过程就是分词。早期的分词方法（如 Word-level）存在严重问题： 词汇表爆炸：英语有数十万单词，加上专有名词、拼写错误，词汇表会无限增长。 1.3 实战：不同文本的 Token 化差异 让我们用 OpenAI 的 tiktoken 库（GPT-4 使用的分词器）来直观感受： import tiktoken enc = tiktoken.get_encoding 4.3 无 Token 模型（Token-free Models） 终极目标或许是构建完全不需要显式分词的模型，它们能像人一样直接从原始字节流中学习。 虽然目前仍是研究前沿，但这代表了摆脱 Token 限制的一种可能方向。 总结 Token 远不止是一个计费单位。它是： 算法的产物：由 BPE 等精巧的分词算法从原始文本中提炼出的语义单元。
1K40编辑于 2026-03-25 - 来自专栏产品经理的人工智能学习库
分词 – Tokenization
分词是 NLP 的基础任务，将句子，段落分解为字词单位，方便后续的处理的分析。 本文将介绍分词的原因，中英文分词的3个区别，中文分词的3大难点，分词的3种典型方法。 最后将介绍中文分词和英文分词常用的工具。 什么是分词？ 分词是 自然语言理解 – NLP 的重要步骤。 分词就是将句子、段落、文章这种长文本，分解为以字词为单位的数据结构，方便后续的处理分析工作。 常见的分词器都是使用机器学习算法和词典相结合，一方面能够提高分词准确率，另一方面能够改善领域适应性。 中文分词工具 下面排名根据 GitHub 上的 star 数排名： Hanlp Stanford 分词 ansj 分词器 哈工大 LTP KCWS分词器 jieba IK 清华大学THULAC ICTCLAS 分词的原因： 将复杂问题转化为数学问题 词是一个比较合适的粒度 深度学习时代，部分任务中也可以「分字」 中英文分词的3个典型区别： 分词方式不同，中文更难 英文单词有多种形态，需要词性还原和词干提取 中文分词需要考虑粒度问题
1.8K31发布于 2019-12-18 - 来自专栏房东的猫
Elasticsearch分词：自定义分词器
分词器把字符串分解成单个词条或者词汇单元。 标准 分析器里使用的 标准 分词器 把一个字符串根据单词边界分解成单个词条，并且移除掉大部分的标点符号，然而还有其他不同行为的分词器存在。 例如， 关键词 分词器 完整地输出 接收到的同样的字符串，并不做任何分词。 空格 分词器 只根据空格分割文本 。 正则 分词器 根据匹配正则表达式来分割文本 。 在es中有几个默认的分词器。 在es中有几个默认的分词过滤器。 "&_to_and": { "type": "mapping", "mappings": [ "&=> and "] } } 使用 标准 分词器分词
8.5K21发布于 2021-07-20 - 来自专栏房东的猫
Elasticsearch分词：拼音分词器
offset is strictly constrained, overlapped tokens are not allowed, with this parameter, overlapped token analyze { "analyzer": "pinyin_analyzer", "text": "刘德华2019" } 结果： { "tokens" : [ { "token start_offset" : 0, "end_offset" : 0, "type" : "word", "position" : 0 }, { "token start_offset" : 0, "end_offset" : 0, "type" : "word", "position" : 0 }, { "token start_offset" : 0, "end_offset" : 0, "type" : "word", "position" : 1 }, { "token
2.4K11发布于 2020-12-28 - 来自专栏九陌斋
Jieba分词
Jieba jieba 是一个中文分词第三方库，被称为最好的 Python 中文分词库。支持三种分词模式：精确模式、全模式和搜索引擎模式，并且支持繁体分词和自定义词典。 使用前需要额外安装（对应安装命令改为：pip install jieba） 这里主要介绍jieba包的分词功能 测试 代码 # -*- coding: utf-8 -*- # @Time : 2022 /5/1 15:52 # @Author : MinChess # @File : test.py # @Software: PyCharm import jieba seg_list = jieba.cut @Time : 2022/5/1 15:52 # @Author : MinChess # @File : stop.py # @Software: PyCharm import jieba import # -*- coding: utf-8 -*- # @Time : 2022/5/1 15:23 # @Author : MinChess # @File : jieba.py # @Software
1.1K20编辑于 2022-12-26 - 来自专栏python前行者
Python分词模块推荐：jieba中文分词
，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法 二、结巴中文分词支持的分词模式 目前结巴分词支持三种分词模式： 精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来 , 速度非常快，但是不能解决歧义； 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。 jieba.cut_for_search方法接受一个参数：需要分词的字符串,该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细 注意：待分词的字符串可以是gbk字符串、utf-8字符串或者unicode 2、关键词抽取 通过计算分词后的关键词的TF/IDF权重，来抽取重点关键词。 Python分词组件" tags = jieba.analyse.extract_tags(text,2) print "关键词抽取:","/".join(tags) 关键词抽取: 分词
2K40发布于 2019-03-25 - 来自专栏Java架构师必看
结巴分词器_分词器原理
今天说一说结巴分词器_分词器原理,希望能够帮助大家进步!!! 安装jieba库：pip3 install jieba #结巴分词 # -*- coding:utf-8 -*- import sys import os import jieba sent = '天善智能是一个专注于商业智能 print (sent) 结巴分词模块有三种分词模式： 1. 全模式 ：把句子中所有可以成词的词语都扫描出来，速度非常快，但是不能解决歧义。 2.精确模式 ：试图将句子最精确地切开，适合文本分析（类似LTP分词方式），而这种精确模式就比较接近我们想要的了。 3.搜索引擎模式：在精确模式的基础上对长词再次切分，提高召回率，适合用于搜索引擎分词。这种搜索引擎模式也不错呢，更加细化了。
75320编辑于 2022-06-28 - 来自专栏偷得浮生半日闲
Elasticsearch分词
内置分词 分词器 名称 说明 Standard Analyzer 标准分词器 适用于英语等 Simple Analyzer 简单分词器 于非字母字符进行分词，单词会被转为小写字母 Whitespace " } 结果为 { "tokens" : [ { "token" : "中国农业银行", "start_offset" : 0, "end_offset" : 6, ik_max_word为最细粒度划分 GET _analyze { "analyzer":"ik_max_word", "text":"农业银行" } 结果为 { "tokens" : [ { "token "start_offset" : 0, "end_offset" : 4, "type" : "CN_WORD", "position" : 0 }, { "token "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" : 1 }, { "token
35910编辑于 2024-07-22 - 来自专栏python前行者
HanLP 分词
命令行交互式分词模式 在命令行界面，使用命令 hanlp segment 进入交互分词模式，输入一个句子并回车，HanLP 会输出分词结果： $ hanlp segment 商品和服务 商品/n 和/cc 具体 具体 a ad _ 5 状中结构 _ _ 5 帮助 帮助 v v wp w _ 5 标点符号 _ _ 可见，pyhanlp 分词结果是带有词性的。 （1）分词 from pyhanlp import * content = "现如今，机器学习和深度学习带动人工智能飞速的发展，并在图片处理、语音识别领域取得巨大成功。" /w （2）自定义词典分词 在没有使用自定义字典时的分词。 txt = "铁甲网是中国最大的工程机械交易平台。"
1.7K30编辑于 2025-08-22 - 来自专栏崔哥的专栏
elasticsearch 分词
安装中文、拼音分词 https://github.com/medcl/elasticsearch-analysis-ik https://github.com/medcl/elasticsearch-analysis-pinyin plugins目录 root@57d58faf9b1e:/usr/share/elasticsearch/plugins# ls ik pinyin 重启elasticsearch使生效 测试一下 默认分词 pretty' -d' { "analyzer": "standard", "text":"22强烈推荐11" }' ik中文分词 curl -H "Content-Type: application pretty' -d' { "analyzer": "ik_max_word", "text":"22强烈推荐11" }' 拼音分词 curl -H "Content-Type: application
48710编辑于 2022-05-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号