- 综合排序
- 最热优先
- 最新优先
- 来自专栏悠扬前奏的博客
Pandas-11. 文本操作
Pandas-11. 文本操作 以如下代码作为例子： s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t']) lower() 将Series/Index中的字符串转换为小写
52930发布于 2019-05-29 - 来自专栏一“技”之长
iOS MachineLearning 系列（11）—— 自然语言识别与文本分析
iOS MachineLearning 系列（11）—— 自然语言识别与单词分析 在上一篇文章中，我们介绍了使用NaturalLanguage框架来进行自然语言的拆解，可以将一段文本按照单词，句子或段落的模式进行拆解 其实，NaturalLanguage框架本身也提供了语言识别的能力，其可以分析一段文本所对应的语言，同样对于包含多种语言的文本，其可以分析出各种语言的占比。 语言识别是其他高级自然语言处理任务的基础，本篇文章还将介绍NaturalLanguage关于文本分析的能力，其能够对文本中的人名，地名和组织名进行识别，也可以对词性进行分析，如动词，名词。 甚至我们还可以分析文本的积极或消极程度来推测内容的取向，从而帮助开发者开发出更加智能的应用。 文本分析支持对单词进行分析，也支持对句子和段落进行分析。
1.2K10编辑于 2023-05-07 - 来自专栏语言、知识与人工智能
文本情感分析综述
前言：本综述是语义分析团队分享的材料，现在将PPT呈现给大家。 在文本情感分析这样一个宏观命题下，本文内容在细分领域上有所侧重，以梗概为主，所以可能无法做到对每一种方法的详细论证和对所有子领域的面面俱到。 希望能与对文本情感分析感兴趣的同学多多交流，欢迎批评指正。
6.3K81发布于 2018-01-25 - 来自专栏全栈程序员必看
文本聚类简单实现_文本聚类分析
最初文本聚类仅用于文本归档，后来人 们又挖掘 出了许多新用途，比如改善搜索结果、生成同义词，等等。 将文档表示为向量，剩下的算法就与文档无关 二、文本特征 1. tfidfTransformer.fit_transform(count_v) print(tfidf.toarray()) # 4.3 对词频向量进行降维 (不是必须的步骤, 因为下面使用 DBSCAN算法,它不适合太高维度计算所有进行降维) # 主成分分析方法降维 result[key] = cluster.get_documents_id() return result 其他工具类 GitHub – murray-z/text_analysis_tools: 中文文本分析工具包 （包括- 文本分类 – 文本聚类 – 文本相似性 – 关键词抽取 – 关键短语抽取 – 情感分析 – 文本纠错 – 文本摘要 – 主题关键词-同义词、近义词-事件三元组抽取） 版权声明：本文内容由互联网用户自发贡献
3.5K21编辑于 2022-11-17 - 来自专栏python3
【Python】文本分析
依赖库 pip install jieba pip install matplotlib pip install wordcloud pip install snownlp 词频统计 # -*- coding: utf-8 -*- import jieba from wordcloud import WordCloud import matplotlib.pyplot as plt # 加载自定义分词字典 jieba.load_userdict("news.txt") # 语料 corpos = "美
1.3K20发布于 2020-01-14 - 来自专栏AustinDatabases
PostgreSQL 助力文本分析，让文本分析飞起来
众所周知文本数据的分析,一直是EXCEL的天下, 通过多种EXCEL的方法来进行数据的处理. 但如果涉及到几个文本文件的数据的聚合分析,合并分析,函数分析等等这样的情况. 所以怎么能让文本文件进行数据分析成为一个数据分析领域的卖点. 这里有三个问题 1 文本数据是否需要导入到表 2 文本数据在查询时是否可以使用数据库本身的特性,或者优化的条件来 进行查询 3 查询的方式是否完全可以通过PGPLSQL的方式来进行大部分功能的查询 where a.first_name = 'Nick' and f.title = 'Adaptation Holes'; 下面的查询中使用了hash join 的方式提高了查询的速度，尤其在针对文本数据较多的情况下 在POSTGRESQL 11 之前只能使用super_user来操作文件，而在11后，我们有了几个默认的角色 ru pg_read_server_files pg_writer_server_files
1K30发布于 2021-07-15 - 来自专栏Reck Zhang
Java 11 - 逃逸分析
逃逸分析 定义 逃逸分析是一种可以有效减少Java中同步负载和内存堆分配压力的跨函数全局数据流分析方法. 通过逃逸分析, 编译器能够分析出一个新的对象的引用范围, 从而决定是否要将这个对象分配在堆上. 逃逸分析是指分析指针动态范围的方法, 当变量或者对象在方法中被分配后, 其指针有可能被返回或者被返回引用. 那么我们把其指针被其他过程或者线程所引用的现象叫做指针(引用)的逃逸. 处理 逃逸分析之后, 可以得到三种对象的逃逸状态: 全局逃逸(GlobalEscape): 一个对象的引用逃出了方法或者线程. [info ][gc] GC(10) Pause Young (G1 Evacuation Pause) 7M->1M(10M) 0.334ms [0.281s][info ][gc] GC(11
80440发布于 2021-08-11 - 来自专栏Java架构师必看
spring源码分析11
spring源码分析11 强烈推介IDEA2020.2破解激活，IntelliJ
39820发布于 2021-04-13 - 来自专栏python3
python简单的分析文本
most_comm_word)) print('单独打印word：{}'.format(word)) print("单独打印count:{}".format(count)) #defaultdict简单应用 #分析单词出现的位置列表
92410发布于 2020-01-02 - 来自专栏数据科学（冷冻工厂）
ATAC-seq分析：Motifs分析（11）
切割位点分析 要绘制切割位点，我们希望只考虑读取的 5' 端，并且需要调整已知的 5' 读取偏移量到实际 T5 切割位点。
87220编辑于 2023-02-27 - 来自专栏数据科学（冷冻工厂）
ATAC-seq分析：Motifs分析（11）
切割位点分析要绘制切割位点，我们希望只考虑读取的 5' 端，并且需要调整已知的 5' 读取偏移量到实际 T5 切割位点。
1K20编辑于 2023-01-27 - 来自专栏全栈程序员必看
文本相似度度量_文本相似度分析
文本相似度度量就是衡量两个文本相似度的算法。主要包括两个步骤：将文本表示为向量（文本表示）；衡量两个向量的相似度（相似度度量）。 1 文本表示 文本表示也包括两部分：文本切分粒度（按什么粒度切分得到文本特征），如何构造特征（如何将文本特征转化成数值特征）。 1.1 文本切分粒度 可以按照字，词，n-gram对文本进行切分；当文本是长文本时，也可以利用主题模型提取关键词，来减少词的维度。 1.2 文本特征构建 特征构建就是如何将词袋模型中的词转化成向量表示。可以用one-hot，对应位置的权重可以是TF或者是TF-IDF。也可以用分布式表示word2vec。 通常用于长文本，降维将长文本压缩至几个关键词表示（如取TF-IDF权重大的top k个词）。然后将关键词编码成固定长度的二进制字符串。用固定长度的编码来表示一篇文章。
1K20编辑于 2022-11-17 - 来自专栏golang算法架构leetcode技术php
golang源码分析：etcd（11）
我们继续在文件 server/etcdserver/server.go 中分析EtcdServer的初始化流程，它会先调用bootstrap函数初始化后端存储bolt-db然后初始化raftNode
34040编辑于 2023-09-09 - 来自专栏golang算法架构leetcode技术php
golang源码分析：raft（11）
前面提到transport将远程对象分为两类：remote和peer，分别代表新建立的连接和已经加入集群的节点，下面简单分析下它们的核心逻辑： type remote struct {
33720编辑于 2023-09-07 - 来自专栏学习笔记ol
框架分析（11）-测试框架
框架分析（11）-测试框架 主要对目前市面上常见的框架进行分析和总结，希望有兴趣的小伙伴们可以看一下，会持续更新的。希望各位可以监督我，我们一起学习进步。 元素定位 Selenium提供了丰富的元素定位方法，包括通过ID、名称、类名、标签名、链接文本、CSS选择器和XPath等。这使得开发人员可以准确地定位页面上的元素，进行操作和验证。 页面操作 Selenium可以模拟用户在网页上的各种操作，包括点击、输入文本、选择下拉框、提交表单等。这使得开发人员可以编写自动化测试脚本，模拟用户的真实操作。 优缺点分析 优点 开源免费 Selenium是一个开源项目，可以免费使用，没有任何许可费用。 优缺点分析 优点 简单易用 JUnit框架提供了简单易用的API和注解，使得编写和运行单元测试变得非常简单。
87720编辑于 2023-10-11 golang源码分析：langchaingo（11）
在分析完核心功能使用的源码后，我们再按照目录依次总结下每个目录里的逻辑，在最外层的一些工具类说明类的文件就不再介绍了 CODE_OF_CONDUCT.md CONTRIBUTING.md 链相关逻辑langchain核心逻辑 docs 使用https://docusaurus.io/生成的文档 documentloaders 这里主要是文档加载的逻辑，方便将pdf等文档类型转化为文本创建知识库 memory 记录聊天历史用的，包括内存 sqlite等 outputparser 输出解析相关逻辑 prompts 提示词和提示词模板 schema 格式相关，比如内存、向量 textsplitter 文本分割相关逻辑
8400编辑于 2026-03-18- 来自专栏全栈程序员必看
文本相似度计算_文本相似度分析算法
传统比较两个文本相似性的方法，大多是将文本分词之后，转化为特征向量距离的度量，比如常见的欧氏距离、海明距离或者余弦角度等等。 按照Charikar在论文中阐述的，64位simhash，海明距离在3以内的文本都可以认为是近重复文本。当然，具体数值需要结合具体业务以及经验值来确定。 但是，使用上述方法产生的simhash用来比较两个文本之间的相似度，将其扩展到海量数据的近重复检测中去，时间复杂度和空间复杂度都太大。 譬如说对于64位的待查询文本的simhash code来说，在海量的样本库（>1M）中查询与其海明距离在3以内的记录 有两种常规的思路。 Java 代码实现： package simhash; /** * Function: simHash 判断文本相似度，该示例程支持中文
* date: 2013-8-6 上午1:11:482.1K20编辑于 2022-11-15 - 来自专栏Y-StarryDreamer
文本分类与情感分析
在这篇博客中，我们将深入探讨文本分类与情感分析的定义、重要性、应用领域、技术挑战以及如何使用NLP来实现这些任务。什么是文本分类与情感分析？ 文本分类可以应用于许多领域，如新闻分类、垃圾邮件识别、法律文件分类等。情感分析，又被称为情感检测或情感极性分析，是一项更特定的文本分类任务，旨在确定文本中所包含的情感或情感极性，如积极、消极或中性。 情感分析可以用于分析社交媒体帖子、产品评论、用户反馈等，以了解用户的情感反馈和情感倾向。为什么文本分类与情感分析重要？ 使用NLP进行文本分类与情感分析使用自然语言处理（NLP）技术进行文本分类与情感分析涉及多个步骤：数据收集：首先，需要获取文本数据，这可以是来自互联网、社交媒体、用户评论或其他来源的文本。 此外，使用TextBlob库进行情感分析的部分还包括在数据预处理后的文本上执行情感分析，以了解文本的情感倾向。这有助于更全面地理解文本数据的内容和情感。
2.4K150编辑于 2023-11-08 - 来自专栏马拉松程序员的专栏
数据分析：文本分类
本章节中所涉及的知识点偏向于机器学习的范畴，那么机器学习和数据分析有什么区别呢。简单来讲，数据分析是少量数据采样分析而机器学习是海量数据全部分析。 比较好的理解一点是，数据分析会总结过去已经发生的事情，而机器学习是为了预测未来发生的事情。这两者也是有相辅相成的关系。 我们可以通过机器学习预测的结果，进行数据分析，得到一个相对准确的结论，辅助人们进行决策判断等等。 本节中所学习的文本分类，也是为了提供为数据分析使用的素材。 文本分类最常用的应用是新闻分类、垃圾邮件分类、评价分类、客服问题分类、情感分析、评论挖掘、信息检索、Web文档自动分类、数字图书馆、自动文摘、文本过滤以及文档的组织和管理等等场景，我们后面实战中所涉及的内容也是基于网络数据进行分类 函数的输出可以是一个连续的值（称为回归分析）或是预测一个分类标签（称作分类）。
63420编辑于 2023-09-02 - 来自专栏前端必修课
Open WebUI 文本效率分析工具
今天，我要分享一个我为 Open WebUI 开发的实用小工具 —— 一个能够实时统计文本生成效率的 Python 函数。 这个工具能够精确计算中英文混合文本的字符数，并提供生成速度、总字数等关键指标，帮助开发者更好地评估和优化 AI 模型性能。 核心功能一览 这个 Filter 类主要实现了三个核心指标的统计： 总字符数统计：区分统计中文字符、英文单词和标点符号 响应时间计算：精确到毫秒的内容生成耗时 文本生成速度：每秒生成的字符数，直观展示模型效率 True, }, } ) return body 字符计数的核心算法 这个函数最精妙的部分是它能同时处理中英文混合文本 chinese_chars) + len(english_words) + len(punctuation_marks) return total_count 在中国开发环境中，这种中英文混合文本的处理尤为重要
38410编辑于 2025-03-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号