- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
从“词元”到“符元”：Token 中文名背后的 AI 底层认知之争
随后，《人民日报》发文《专家解读token中文名为何定为“词元”》，对这一命名从专业角度进行了系统阐释。文中提到，“token”一词源于古英语tācen，意为“符号”或“标记”。 在语言模型中，token是文本经过切分或字节级编码后得到的最小离散单元，既可以表现为词、子词、词缀或字符等不同形式。模型正是通过对token序列的建模，展现出一定的智能能力。 在现代计算体系中，Token真正的结构本体是“离散符号单元”，而非单一模态的语言单位。 相比之下，「符元」直接对齐了跨模态计算的符号本体，它定义的不是Token的“过去”，而是Token的“真相”。 五、本体的回归：Token本质上是“符号”，而非“词”文章观点（通用解释）：Token是语言模型中用于处理文本的最小单位。
19110编辑于 2026-04-09 - 来自专栏Lambda
5.access_token和refresh_token时效如何设置
access_token和refresh_token实效如何设置 什么时候需要用户跳转到登录页面重新登录？ token 过期了就需要用户跳转到等页面重新登录？ 时效设置 为了保证能够刷新用户端的 access_token ，refresh_token 的有效时间不能小于 用户活跃时间点，假设 access_token 有效时间为et，那么用户在[access_token 起始时间，2 * et]时间内用户都是活跃的，因此 refresh_token 的有效时间 >= 2 * access_token 一般,refresh_token 的有效时间 > 2 * access_token 的有效时间 比如，access_token 实效7天，那么 refresh_token 实效可以给15天,也可以给30天 当然，access_token和refresh_token 的时长具体多少 刷新refresh_token 每次 刷新access_token 时判断 refresh_token 是否快过期 [ refresh_token 剩余有效时间 <= 2*access_token实效
2.6K10发布于 2020-02-14 - 来自专栏苏三说技术
Token续期的5种方案
如何续期：单Token还是双Token？有状态还是无状态？ 安全防控：如何防止令牌劫持和并发风暴？ 下面我跟大家一起聊聊工作中最常用的5种主流方案，希望对你会有所帮助。 oldToken) { // 旧Token加入黑名单（有效期比Token长5分钟） redis.setex("blacklist:"+oldToken, "1", 35 * 60); refreshToken; RLock lock = redissonClient.getLock(lockKey); try { if (lock.tryLock(2, 5, = token.getTotalValidTime(); // 双阈值策略：绝对时间（5分钟）和相对时间（30%有效期） return remainTime <= Math.min (5 * 60 * 1000, 0.3 * totalTime); } 4.2 Redis缓存续期方案 public void autoRenewToken(String headerToken) {
1.1K10编辑于 2025-08-24 - 来自专栏森破笔记
解决git status中文名乱码
git-config - Get and set repository or global options
80710发布于 2020-04-10 - 来自专栏站长的编程笔记
jwt token 鉴权验证 【firebase 5.x】
JWT 功能封装类 5. JWT 鉴权控制器 1. JWT 功能封装类 安装扩展包 composer require firebase/php-jwt:'5.*' <? = JWT::encode($token, $this->key); // 创建token $this->cache($data['uid'], $token); // 将token存入缓存 return $token; // 返回token } /** * 解析token * * @param string $token 前端请求携带的token string $token 前端请求携带的token * @return boolean true token 有效 false 已过期 */ public function
4K20编辑于 2022-12-31 - 来自专栏sktj
Django 下载文件返回中文名
Django下载中文名文件： from django.utils.http import urlquote from django.http import HttpResponse content =
61120编辑于 2022-05-14 - 来自专栏arebirth重生者的IT之路
java 实现文件下载中文名不显示
需要将指定字符串的编码转换成浏览器里面的ISO-8859-1编码 String name = new String(name.getBtes("utf-8"),"ISO-8859-1"); 示例： response.setContentType("application/octet-stream"); response.setHeader("content-disposition", "attachement;filename=" + new String(fileInfo.getFileName().ge
70610发布于 2020-06-19 - 来自专栏架构师进阶
Java文件下载中文名不显示&乱码
实际开发中遇到了中文名不显示的问题，一开始以为是后台代码的原因，网上查了一些资料，原来是Header中只支持ASCII，传输的文件名必须是ASCII。为什么Header只支持ASCII呢？。
1.6K30发布于 2019-08-08 - 来自专栏GiantPandaCV
解析 Token to Token Vision Transformer
最后看下T2T，通过Token to Token结构（下文会讲），它在浅层的时候也能建模出结构信息，同时也避免了极值的出现。 Token To Token结构 ? 这样会逐渐减少token的数量，但随之而来token的长度会增加很多（因为多个tokens连接在一个token），因此后续模型也降低了维度数目，以平衡计算量。 下面是一段测试代码 import torch import numpy as np np_input = np.array([[[[1, 2, 3], [4, 5, padding=0, stride=1) unfolded = unfold(torch_input) print(unfolded) # 输出为 tensor([[[ 1., 2., 4., 5. ], [ 2., 3., 5., 6.], [ 4., 5., 7., 8.], [ 5., 6., 8., 9.],
8K10发布于 2021-03-11 - 来自专栏技术人生
使用JWT实现Token认证，前端H5登录加密
JSON Web Tokens 随着技术的发展，分布式web应用的普及，通过session管理用户登录状态成本越来越高，因此慢慢发展成为token的方式做登录身份校验，然后通过token去取redis中的缓存的用户信息 ，随着之后jwt的出现，校验方式更加简单便捷化，无需通过redis缓存，而是直接根据token取出保存的用户信息，以及对token可用性校验，单点登录更为简单。 array_merge($data, $ext); $ret = base64_encode(json_encode($ret)); $sign = hash_hmac('md5' ', $auth); $sign = hash_hmac('md5', $data[0], '12D&(HS^H!
1.3K40编辑于 2022-01-04 - 来自专栏全栈程序员必看
小米 token(token在哪里获取)
小米设备token获取&HomeAssistant安装部署 小米智能设备token获取 miIO-discovery获取token与控制 app直接token获取 DB获取token 开源智能家居平台HomeAssistant 在使用这个局域网控制协议之前需要获取到设备token，接下来介绍小米设备获取token的一些方法。 -dev sqlite3 bzip2 libbz2-dev libssl-dev openssl libgdbm-dev liblzma-dev libreadline-dev libncursesw5- 接下来还有一种方法可以直接从app获取token。以小米绿米网关为例，首先下载米家app，将绿米网关配置入网后，点击网关设备。接下来步骤如下组图，最后的密码即为网关的token。 / 第4步，拷贝miio2.db，下载到电脑 第5步，前往网站（http://miio2.yinhh.com/），上传miio2.db，点击提交，即可获得token。
10K10编辑于 2022-07-29 - 来自专栏全栈程序员必看
token身份认证机制(token怎么获取)
这个token 我不保存，当小F把这个token 给我发过来的时候，我再用同样的HMAC-SHA256 算法和同样的密钥，对数据再计算一次签名， 和token 中的签名做个比较， 如果相同， 我就知道小 客户端储存 token, 并且每次请求都会附带它。 服务端验证 token 并返回数据。 每一次请求都需要Token。Token 应该在 HTTP的头部发送从而保证了 Http 请求无状态。 校验成功则返回请求数据，校验失败则返回错误码 当我们在程序中认证了信息并取得 token 之后，我们便能通过这个 token 做许多的事情。 我们也不一定需要等到token自动失效，token有撤回的操作，通过 token revocataion可以使一个特定的 token 或是一组有相同认证的 token 无效。 Access-Control-Allow-Origin: * （5）基于标准 有几种不同方式来创建 token。最常用的标准就是 JSON Web Tokens。很多语言都支持它。
7K10编辑于 2022-07-29 - 来自专栏全栈程序员必看
无效的token怎么解决_登录token
大家好，又见面了，我是你们的朋友全栈君 解决无效token的方法 在调用API接口时遇到了无效token的问题，网上搜了一大圈还以为是token时效的问题，最后发现是给需要授权的 API ， 必须在请求头中使用Authorization 字段提供 token 令牌。 // 在最后必须return return config }) 然后在请求头中可以发现Authorization的值还是Null,原因就是当你发送的发出的是登录请求，在登录期间服务器没有给你token ，如果登录之后调用其他接口再去监听这次请求的话就会发现Authorization的值不在是null了,而是登录后的token。 根据授权（Authorization）的解释，之所以要这么做的原因就是要给token授权访问api接口的权限。 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
4.4K40编辑于 2022-09-30 - 来自专栏陈琛的Redis文章
Token验证
唠嗑结束了，我们得来学习新知识，今天写的是如何解决登录问题及token验证。 解决方案（Token） 流程 使用token验证来解决，那token验证是咋样的一个流程呢？ 3.后台有一个默认的拦截器，在接收到前端的请求时，会先将前端的token值取出，并且和redis中的token值进行对比。 token如何产生 下图是一个完整的token值，我们可以看到他有两个点号，也就是将一个长字符串分割为三份。 ? 这三部分组成一个token的字符串。 部分代码块 下图为第二部分，token中应该存入的业务信息。 ?
2.6K21发布于 2020-06-12 - 来自专栏VRPinea
3A级国产VR游戏《Reboant》（中文名《源震》）首曝
近日，国产3A级VR游戏《Reboant》（中文名《源震》）曝光了其首部预告片。该游戏采用了先进的虚幻4引擎进行开发，从本次公布的CG预告视频中就不难看出，这是一款可以被称作3A级别的VR大作。
1.8K50发布于 2018-05-15 - 来自专栏全栈程序员必看
token实现验证登录(token如何使用)
1.场景还原 可能还有很多小伙伴对token概念朦朦胧胧，今天笔者以项目中的用户登录的token验证需求跟大家讲讲其中的来龙去脉，希望能够理清大伙的思路。 3.实现方案 ①token生成方法 /** * Created by zhangxing on 2017/6/12. */ public class Token { //随机数发生器 String tokenMd5=""; try { MessageDigest md = MessageDigest.getInstance(" md5"); byte[] md5 = md.digest(token.getBytes()); BASE64Encoder base = new BASE64Encoder (); tokenMd5 = base.encode(md5); } catch (NoSuchAlgorithmException e) { 发布者：全栈程序员栈长
4.3K10编辑于 2022-07-29 - 来自专栏全栈程序员必看
错误提示：Syntax error on token “function”, delete this token
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/105706.html原文链接：https://javaforall.cn
90420编辑于 2022-08-09 - 来自专栏kwai
关于token
token token相当于是进步的session，它不再需要存在服务器上了，只需要双方用算法验证即可。 Token是服务端生成的一串字符串，以作客户端进行请求的一个令牌。 当客户端第一次访问服务端，服务端会根据传过来的唯一标识userId，运用一些算法，并加上密钥，生成一个Token，然后通过BASE64编码一下之后将这个Token返回给客户端，客户端将Token保存起来 下次请求时，客户端只需要带上Token，服务器收到请求后，会用相同的算法和密钥去验证Token。 盐：就是我们常见的md5算法啦。 使用基于 Token 的身份验证方法，在服务端不需要存储用户的登录记录。 这时候我们就可以引入redis，用于保存token，把重复的token都拦下来！
1.4K101编辑于 2022-02-24 - 来自专栏码猿技术专栏
Token认证
/** * 生成token */ @Test public void test1() { //eyJhbGciOiJIUzI1NiJ9.eyJqdGkiOiIxIiwiaWF0IjoxNTQ1NTc0ODE1LCJzdWIiOiLpmYjliqDlhbUifQ.WF0VoGSP5oH0XRsCraJ9lRjtVFRs6I0KJpkhFngpwgk = builder.compact(); //获取生成的token System.out.println(token); } 解析token 解析token需要知道秘钥 /* * 解析token parseClaimsJws("eyJhbGciOiJIUzI1NiJ9.eyJqdGkiOiIxIiwiaWF0IjoxNTQ1NTc0ODE1LCJzdWIiOiLpmYjliqDlhbUifQ.WF0VoGSP5oH0XRsCraJ9lRjtVFRs6I0KJpkhFngpwgk eyJqdGkiOiIxIiwiaWF0IjoxNTQ1NTc1ODQzLCJzdWIiOiLpmYjliqDlhbUiLCJleHAiOjE1NDU1Nzk0NDMsImFnZSI6MjIsImFkZHJlc3MiOiLmsZ_oi4_nnIEifQ.uRhzSnsWl5IO-K6SA3zHsqGacZzkOOsFlD8lvqYDleY 退出登录， 只要客户端端把Token丢弃就可以了，服务器端不需要废弃Token。 怎样保持客户端长时间保持登录状态？ 服务器端提供刷新Token的接口， 客户端负责按一定的逻辑刷新服务器Token。
2.6K30发布于 2019-12-31 - 来自专栏全栈程序员必看
获取token
今天咱们来说说怎么通过代码来获取token 获得token的话首先会有甲方提供一些数据给你们 类似于这种，token的入参和出参。 接着咱们就可以写代码了。 /这是一个token的入参url 只是我把它放到配置文件了。 = mapResult.get("key").toString(); tokenMap.put("token", token); logger.info("token> >>>>>>>>>>>>>>>>>>>>>>" + token); return token; } 这个方法就可以获取到token了。 这个是获取了两次，第一次获取短的token，然后第二次获取长的token并使用拼接把短的token也拼接上去。最后才获取到最后的token。获取两次是为了安全。
5.6K10编辑于 2022-07-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号