- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习/数据可视化
Pandas处理文本的3大秘诀
Pandas文本处理大全的3大秘诀 本文介绍Pandas中针对文本数据处理的方法。 文本数据也就是我们常说的字符串，Pandas 为 Series 提供了 str 属性，通过它可以方便的对每个元素进行操作。 首先需要清楚的是：Python中原生的字符串操作的相关的函数也是适用的。 dtype: object 通过字符b来进行切割，默认参数下： s3.str.rsplit("b") 0 [a, cda, ca, ] dtype: object 切割的最大次数为2，生成3个元素 ： s3.str.split("b",n=2) 0 [a, cda, cab] dtype: object 指定切割3次后的结果： s3.str.split("b",n=3) 0 [a, cda , ca, ] dtype: object 最大的切割次数是3，下面切割4次和3次的效果相同： s3.str.split("b",n=4) 0 [a, cda, ca, ] dtype: object
65520编辑于 2023-08-23 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】Meta Llama 3 大模型 ( Llama 3 大模型简介 | Ollama 软件下载安装 | Llama3 模型下载 | Llama 3 大模型 在线 离线 使用 )
首先 , 安装 Ollama 软件 , 到 https://ollama.com/ 下载安装 ; 然后 , 运行 ollama run llama3 命令 , 即可开始使用 Llama3 大模型 ; 一 、Meta Llama 3 大模型安装 1、Llama 3 大模型简介 Llama 3 大模型 是 Meta 公司 发布的 大模型 , Meta 公司 就是 Facebook ; Llama 3 大模型 Llama3 大模型 ; 下载的模型放在了 C:\Users\用户名.ollama 目录中 , 在我的电脑上的路径是 C:\Users\octop.ollama ; 这个模型很大 , 有 4.7 G 安装完成后的效果 for help) 二、Meta Llama 3 大模型使用 1、Llama 3 大模型在线使用 在命令行中 , 可以直接进行对话 , 下面是对话内容 : D:\Llama>ollama run llama3 for help) 2、Llama 3 大模型离线使用 Llama 3 大模型 联网时 , 可以访问云端服务 , 可以生成更加丰富的文本 ; Llama 3 大模型 在 断网后也可以使用 , 下面是断开网络后
1.7K12编辑于 2024-08-09 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 deepseek-r1的哪个版本的大模型？ 它支持各种LLM，包括Llama 3、Mistral和Gemma。提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。 理论上就安装完成了，可以只在命令行中使用大模型了。修改路径文件保存路径可以不用改，如果C盘空间不够用，建议修改。
6.3K33编辑于 2025-02-06 - 来自专栏媒矿工厂
LLMZip:使用大语言模型实现无损文本压缩
文章结果显示，利用最新的大语言模型进行文本压缩不仅可以提高压缩率，还能更准确地估计语言的熵，为未来文本处理技术的发展提供了新的可能性。 他们的方案仍然没有超过如BSC和ZPAQ等最先进的文本压缩算法。 因此，现在研究使用如LLaMA-7B这样的大语言模型是否可以获得更好的压缩结果和更精确的英语熵估计是很自然的。 本文展示了当使用LLaMA-7B大语言模型作为预测器时，使用text8数据集的1MB部分估计得出的熵的渐进上界为0.709比特/字符。这个数值与最先进的文本压缩算法之间仍存在一定差距。 这些发现表明，对于需要高效压缩的应用场景，如移动设备和网络通信，采用基于大语言模型的压缩方法可能是一个值得探索的方向。同时，这也提示在实际应用中应考虑不同压缩算法对不同文本长度的适应性。 结论 本文的结论指出，利用大语言模型（如LLaMA-7B）进行文本压缩能够显著提高压缩效率，并且可以达到比传统文本压缩算法（如BSC、ZPAQ和paq8h）更优的压缩比。
2.3K10编辑于 2024-05-11 - 来自专栏圆圆的算法笔记
利用大模型打造文本摘要训练新范式
这篇文章主要讨论的是生成式文本摘要的方法，如何利用对比学习和大模型实现最新的生成式文本摘要训练范式。 3、生成模型引入排序对比学习 为了解决传统生成式文本摘要模型存在的问题，BRIO: Bringing Order to Abstractive Summarization（2022）提出在生成模型中进一步引入对比学习任务 这部分对比学习loss的计算方式如下： 4、大模型优化文本摘要 随着GPT等大模型的兴起，人们发现用大模型生成的摘要甚至比人工生成的质量还要好。 这篇文章提出了3种利用大模型生成训练样本的方式。 第一种是直接使用大模型生成的摘要，替代人工生成的摘要，相当于直接用下游模型拟合大模型的摘要生成能力，训练方式仍然是MLE。 GPTScore是Gptscore: Evaluate as you desire（2023）中提出的一种基于大模型评估生成文本质量的方法。
3.4K50编辑于 2023-08-17 - 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 具体来说，GLM通过随机遮盖文本中连续的标记，并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系，并且能够处理可变长度的空白。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在这个例子中，我们将[x3]和[x5, x6]洗牌为[x5, x6]和[x3]。 c) 自回归生成：GLM使用自回归的方式生成Part B。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
76020编辑于 2023-08-28 卷土重来的大模型越狱 - 长文本才是那个罪人
最近一段时间，大模型的"长文本"，成了最炙手可热的词。 从20万token的Claude3，到200万字的Kimi。 再到通义千问的1000万字，360的500万字。 但在这一路狂奔之时，Anthropic，也就是造Claude的公司，今天，给长文本，泼了一盘冷水。 一句话总结就是： 直接利用长文本的特性，量大管饱，给大模型灌海量的有害问答对，从而实现越狱。 越狱其实跟Prompt有一点像，只不过视角不同，Prompt是人们挖掘大模型的潜力而做的提示词工程，是“积极使用者”的视角；而“越狱”则是使用Prompt让大模型做出违背开发者意志的行为，是“黑客攻击者 越狱这个词，在去年大模型疯狂做安全对齐之后，已经越来越少有人提起了，毕竟，难度真的越来越大。 但是这次，在长文本的军备竞赛之上，越狱这玩意，又卷土重来。 3.这玩意我们估计很快就被人发现，那不如我们先发了。 4.现在大模型能力都一般，造成不了太大的影响，但是得快点解决啊，要不然后面出来了比如GPT5这种天顶星科技，我们大家容易都完犊子啊。
26900编辑于 2025-04-14- 来自专栏openclaw系列
OpenClaw怎么换大模型？3步免费切换各种大模型配置教程
一句话总结：OpenClaw 本身不内置任何大模型，而是通过灵活的配置机制对接各类模型服务。更换模型只需三步：选择目标模型获取 API Key、在配置文件中添加模型提供商、重启网关生效。 但很多人忽略了一个关键问题：OpenClaw 本身不包含任何 AI 模型。就像一台性能再强的电脑，没有操作系统也无法工作。OpenClaw 的“大脑”完全来自你接入的大模型。 第一章：核心原理——OpenClaw 如何对接大模型？1.1 为什么需要更换模型？OpenClaw 的核心价值在于“连接”——连接大模型的思考能力与电脑的真实操作权限。 2.1 腾讯元宝模型配置（推荐中文场景）腾讯元宝基于混元大模型，提供强大的中文理解和多模态能力，2026 年推出免费额度方案，大幅降低使用门槛。 Q3：本地模型响应太慢怎么办？
11.7K43编辑于 2026-03-28 - 来自专栏大模型应用
大模型应用：TTA文本驱动音频：MusicGen大模型参数调优+音频情绪可视化.23
一、引言 随着语音大模型的普及，不管是TTS还是ASR，都与音频处理有着紧密的联系，AIGC的蓬勃发展，也催生了文本到音频（Text-to-Audio, TTA）的落地场景，音乐生成也走进了我们的实际应用 基于传统的信号合成技术凭借完全可控、轻量化的优势，在场景化音效补充中不可替代；而声乐大模型也是雨后勃发，以 MusicGen 为代表的 TTA 大模型，则通过海量数据训练实现了文本意图驱动的创意生成。 初始化阶段：下载/加载MusicGen模型缓存→初始化处理器/模型→设置评估模式2. 核心生成：文本提示预处理→Token生成→音频解码→标准化→输出核心音频3. 核心采用MusicGen大模型从文本描述生成基础音乐，再通过分形噪声合成和数字混响等传统方法增强场景效果，实现了“AI创意生成+人工精细化调整”的协作模式。 TTA大模型生成核心音频 print("\n 步骤1: 初始化TTA大模型") tta_generator = TTAAudioGenerator()
43232编辑于 2026-02-20 - 来自专栏媒矿工厂
2D 扩散模型 + Nerf，实现文本生成 3D 模型
目录 摘要 引入：扩散模型 方法 摘要 在数十亿图像-文本对上训练的扩散模型，在文字生成图像的任务上大获成功。 在这项工作中，作者通过使用预训练的 2D 文本-图像的扩散模型，实现文本到 3D 合成。他们引入了基于概率密度蒸馏的损失函数，这也允许了2D扩散模型作为先验，用以优化参数图像生成器。 在该方法中，给定文本生成的 3D 模型可以从任意角度观察，通过任意照明重新点亮，或合成到任何 3D 环境中。 值得注意的是，该方法不需要 3D 训练数据，也不需要对图像扩散模型进行修改，证明了预训练图像扩散模型作为先验的有效性。 训练设置 硬件方面，作者使用了带有4块显卡的TPUv4的机器，进行每一个文本对应的3D场景进行训练。每一块卡渲染一个独立的视角，并且在每一张卡上的batchsize设置为1。
3.1K20编辑于 2022-11-07 - 来自专栏大模型成长之路
【大模型学习 | DeepSeek-V3原理】
DeepSeek-V3 Technical Report DeepSeek-V3 的基本框架还是 Transformer。 另外，V3 模型是通过将预测多token作为训练目标。本文主要是对DeepSeek-V3的模型框架以及训练目标进行讨论。 什么是负载平衡？ 2️⃣ DeepSeekMoE 在Transformer架构中的FFN层，V3模型采用了MoE进行替换，使用更细粒度的专家，并将一些专家隔离为共享专家。 ✅ Yes ✅ 无偏置 目前的模型权重已开源： https://huggingface.co/deepseek-ai/DeepSeek-V3-Base 者由于设备限制无法对 V3模型进行体验。
1.4K21编辑于 2025-07-25 - 来自专栏AI工程落地
大语言模型--Llama3新特性
更大的词表使得模型涵盖的语言更多、更加通用 Attention层--MultiHeadAttention算子 Llama3 8B和70B都使用了分组查询注意力机制(GQA)，4个Query共享一对Key 减少了计算量，同时保持了模型的性能。 值是500000.0（Llama2用的是默认值10000.0） 上下文窗口中的最大Tokens从 4096增加到 8192 数据类型 Llama2开源的参数是float16格式的，但Llama3开源的参数都是 依赖软件包 transformers包升级到4.40.0以上 模型版本 2024年4月21号 初版 Llama3 8B的HellaSwag分数：acc 0.6039、acc_norm 0.776 2024年5月14号 第二版 Llama3 8B的HellaSwag分数：acc_norm 0.822
36810编辑于 2024-05-29 - 来自专栏数据分析与挖掘
LLM（大语言模型）解码时是怎么生成文本的？
（3）控制模型输出Logits的参数 temperature（float, optional, defaults to 1.0） - 用于调节下一个标记概率的值。 在论文中，建议的值在3e-4到 9e-4之间，取决于模型的大小。 在论文中 ，建议值从3e-4到2e-3不等，取决于模型的大小。 使用transformers库的生成模型生成结果有三种方式，暂时不要在意参数： 3pipeline 指定为text-generation from transformers import pipeline 草 坪 和 远 处 的 大 海 。
6.3K30编辑于 2023-04-27 - 来自专栏大数据文摘
LLM Accelerator：使用参考文本无损加速大语言模型推理
目前的大语言模型大多是自回归模型。自回归是指模型在输出时往往采用逐词输出的方式，即在输出每个词时，模型需要将之前输出的词作为输入。而这种自回归模式通常在输出时制约着并行加速器的充分利用。 在许多应用场景中，大模型的输出常常与一些参考文本有很大的相似性，例如在以下三个常见的场景中： 1. 检索增强的生成。 大规模部署语言模型的过程中，历史的输入输出会被缓存。在处理新的输入时，检索应用会在缓存中寻找相似的输入。因此，模型的输出往往和缓存中对应的输出有很大的相似性。 3. 多轮对话中的生成。 图1：大模型的输出与参考文本存在相似性的常见场景 基于以上观察，研究员们以参考文本与模型输出的重复性作为突破自回归瓶颈的着力点，希望可以提高并行加速器利用率，加速大语言模型推理，进而提出了一种利用输出与参考文本的重复性来实现一步输出多个词的方法 图3：利用算法2得到了贪婪解码时生成目标输出所需的解码步骤 对于参数量为 7B 和 13B 的模型，研究员们在单个 32G NVIDIA V100 GPU 上进行实验；对于参数量为 30B 的模型，在四块同样的
73130编辑于 2023-05-22 - 来自专栏Dance with GenAI
用阶跃星辰AI大模型批量识别图片中的文本
国内大模型公式阶跃星辰推出的Step-1V是一款千亿参数的多模态大模型， 该模型在多个领域表现出色，特别是在图像理解、多轮指令跟随、数学能力、逻辑推理和文本创作等方面。 多模态大模型在文本大模型的基础上，增加了多模输入能力，如语音、图像、视频等，并将它们融合在一起，以实现更全面、更准确的理解和推理。 step-1v该模型拥有强大的图像理解能力，暂时只开放文本和图像输入，且仅支持文本生成。上下文长度分别为8k和32k。 中输入提示词： 写一个Python脚本，完成一个OCR的任务，具体步骤如下： 打开文件夹：D:\downloads\世界人工智能大会WAIC2024展商名录 读取里面所有的png图片； 用step-1v-8k大模型将图片中的表格内容识别出来 step-1v-8k大模型的api_key为："XXX" step-1v-8k大模型的代码示例： # -*- coding: utf8 -*- import base64 import requests
1.1K10编辑于 2024-07-31 - 来自专栏人工智能前沿讲习
【强基固本】大模型的四种文本解码策略
在大型语言模型（LLM）的迷人世界中，模型架构、数据处理和优化常常成为关注的焦点。但解码策略在文本生成中扮演着至关重要的角色，却经常被忽视。 我们将文本“I have a dream”输入到GPT-2模型中，并让它生成接下来的五个词（单词或子词）。 通过这些策略，我们可以更好地理解GPT-2是如何生成文本的。 人们常常误解认为像GPT-2这样的大型语言模型（LLM）直接生成文本。实际上并非如此。 最终，模型生成logits，这些logits通过softmax函数转换为概率。 假设我们有 =3，四个词元A、B、C和D，具有以下概率： (A) = 30% (B) = 15% (C) = 5% (D) = 1% 在顶K采样中，词元D会被忽略，算法将以以下概率输出： A 60%的时间
84810编辑于 2024-06-05 - 来自专栏Soul Joy Hub
ASR文本纠错模型
/github.com/shibing624/pycorrector/blob/master/pycorrector/macbert/README.md 本项目是 MacBERT 改变网络结构的中文文本纠错模型 3. ErnieCSC Ernie参阅：https://blog.csdn.net/u011239443/article/details/121820752? spm=1001.2014.3001.5502 上述模型考虑到了文本错字进行纠错，但在中文ASR的场景下，很多情况是由于中文拼音读音相同或相近导致的识别错误。 FastCorrect 上述模型都是在自编码模型上进行检错与纠错。也就是说，文本的输入输出序列长度是不变的，且输出纠错结果的token位置必须是与输入位置对齐的。 这就使得模型无法很好的纠正文本中多字、少字的错误。
3.3K20编辑于 2022-11-30 - 来自专栏开源服务指南
玩转大语言模型：文本生成和模型控制的革新之道 | 开源日报 0901
guidance-ai/guidance[3] Stars: 12.7k License: MIT Guidance 是一个强大的工具，可以让您更有效地掌控现代语言模型，无论您是开发者、设计师还是跨职能团队 它允许您以一种简单直观的语法，基于 Handlebars 模板，实现文本生成、提示和逻辑控制的混合，产生清晰和易于理解的输出结构。 此外，Guidance 还提供了模型加速功能，可在处理多个生成或 LLM（大型语言模型）控制流语句时显着提高推理性能，从而提供更快的结果。 支持基于角色的聊天模型（如 ChatGPT ）的轻松集成。 与 Hugging Face 模型的轻松集成，包括提供模型加速、边界优化和正则表达式模式引导等功能。 Guidance 的目标是使文本生成和模型控制更加灵活、高效，为开发者和团队提供更多自由度和便利性。它适用于多种用途，包括自然语言生成、文本处理和实时流式处理。
50420编辑于 2023-09-14 - 来自专栏河湾欢儿的专栏
css3文本、盒模型阴影、倒影、自由缩放
css3新增盒模型阴影 box-shadow:[inset] x y blur [spread] color 参数 inset：投影方式 inset：内投影 不给：外投影 x、y：阴影偏移 blur：模糊半径 spread：扩展阴影半径 先扩展原有形状，再开始画阴影 Color 文本阴影 box-shadow:x y blur color； div { color: # fff; text-shadow: -1px -1px rgba(197, 223, 248,0.8),-2px -2px rgba(197, 223, 248,0.8),-3px -3px rgba 248,0.8),-6px -6px rgba(197, 223, 248,0.8); } div { color: rgba(255, 179, 140,0.5); text-shadow: 3px 3px 0 rgba(180,255,0,0.5); } box-reflect 倒影 direction 方向 above|below|left|right; 距离 渐变（可选）
75510发布于 2018-09-06 Proteno模型：仅需3%数据实现文本规范化
TN将原始文本（如字符串“6-21-21”）转换为口头化形式（如“twenty first of June twenty twenty one”），以供文本转语音模型生成最终语音。 文本规范化将计算过程的输出（如处理用户请求的自然语言理解模型）转换为合成语音朗读时有意义的形式。近来，学术界和工业界的研究人员开始开发基于机器学习的TN模型。 在实验中，Proteno在英语上提供了与先前最优模型相当的性能，而仅需其3%的训练数据。由于此前没有针对西班牙语和泰米尔语训练的TN模型，实验中无法进行基准比较。 其中一小部分（3-5个）包含语言特定规则，例如如何区分数字的基数用法和序数用法。其他类别（如self、digit和Roman numerals）在许多语言中保持相似。 结果表明，Proteno在低数据标注需求下进行文本规范化是一个强有力的候选方案，同时能抑制不可接受的错误，使其成为生产级文本转语音模型的健壮且可扩展的解决方案。FINISHED
29700编辑于 2026-03-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号