tokenize - 标签 - 腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

首页标签tokenize

#tokenize

从输入到回复：大模型靠 Token 接龙 “猜” 出你的答案

编码未来 9天前2026-03-03 22:51:41

大模型作为人工智能领域的明星产物，其诞生与迭代始终以人类语言及行为数据的深度学习为核心。通过吸纳书面文字、影音字幕、日常对话等海量多元数据，借助数百亿甚至上千亿...

11200

9.9 和 9.11 哪个大?内在原因是tokenizer的问题

算法一只狗

腾讯｜后台策略工程师 (已认证)

2024-07-262024-07-26 10:17:45

再看看Claude 3.5 Sonnet，给出了自己的推理，但是一看答案又开始犯困了，直接认为9.11更大。

1.6K10

Llama2.c 学习笔记5： custom tokenizer

flavorfan 2023-08-182023-08-18 16:29:08

Follow新兴热门Github repo最让人兴奋的是：看着它从幼稚朝着成熟（神奇）发展，这个发展很快肉眼可见，神奇如昙花开放，但又在你理解范围之内（当前的知...

6.1K41

热门专栏