- 综合排序
- 最热优先
- 最新优先
- 来自专栏图像处理与模式识别研究所
Gensim
import logging import jieba from gensim import corpora, models, similarities logging.basicConfig(level "{:.2f}".format(value),document) 0.47 本公众号主要关注图像处理与模式识别的前沿进展 0.00 经典书籍与最新文献研究成果，同时也包含计算机相关实用操作技能 算法：Gensim 链接：https://github.com/RaRe-Technologies/gensim
47310编辑于 2022-05-29 - 来自专栏数据处理
gensim，dictionary
操作词汇的库很多nltk,jieba等等，gensim处理语言步骤一般是先用gensim.utils工具包预处理，例如tokenize，gensim词典官网，功能是将规范化的词与其id建立对应关系 from gensim.corpora.dictionary import Dictionary def print_dict(dic): for key in dic: print key
1.3K20发布于 2018-07-25 - 来自专栏icecream小屋
gensim技术文档
通Gensim模型接受一段训练集（注意在Gensim中，语料对应着一个稀疏向量的迭代器）作为初始化的参数。
1.1K20发布于 2019-12-26 - 来自专栏毛利学Python
回顾NLP必会Gensim
突然有人问我gensim是啥？ Gensim都不知道 NLP就别玩了 我翻下博客 还真的学过gensim 看了下又想起来了 下面使用Gensim 统计每个单词的tfidf 什么是Gensim Gensim是一款开源的第三方Python 在Gensim中，Corpus通常是一个可迭代的对象（比如列表）。每一次迭代返回一个可用于表达文本对象的稀疏向量。 向量（Vector）：由一组文本特征构成的列表。 是一段文本在Gensim中的内部表达。 稀疏向量（Sparse Vector）：通常，我们可以略去向量中多余的0元素。此时，向量中的每一个元素是一个(key, value)的tuple。 corpora, models, similarities 这三个是gensim的重要使用的类 最好的学习就是熟练掌握官方文档 处理字符串 包含9个文档，每个文档仅包含一个句子。
1.1K00发布于 2019-10-17 - 来自专栏银河系资讯
使用Gensim进行主题建模（二）
16.构建LDA Mallet模型 到目前为止，您已经看到了Gensim内置的LDA算法版本。然而，Mallet的版本通常会提供更高质量的主题。 Gensim提供了一个包装器，用于在Gensim内部实现Mallet的LDA。您只需要下载 zip 文件，解压缩它并在解压缩的目录中提供mallet的路径。看看我在下面如何做到这一点。 gensim.models.wrappers.LdaMallet # Download File: http://mallet.cs.umass.edu/dist/mallet-2.0.8.zip mallet_path = 'path/to/mallet-2.0.8/bin/mallet' # update this path ldamallet = gensim.models.wrappers.LdaMallet( 我们使用Gensim的LDA构建了一个基本主题模型，并使用pyLDAvis可视化主题。然后我们构建了mallet的LDA实现。
2.7K31发布于 2019-05-16 - 来自专栏Python技术专栏
python之Gensim库详解
本教程将介绍如何使用Gensim库进行文本处理和主题建模，涵盖以下内容：安装与导入文本预处理构建词袋模型主题建模模型评估1. 安装与导入首先，确保已经安装了Gensim库。 你可以使用pip进行安装：bashCopy codepip install gensim导入所需的库：pythonCopy codeimport gensimfrom gensim import corporafrom gensim.models import LdaModelfrom gensim.utils import simple_preprocessfrom gensim.parsing.preprocessing Gensim允许你保存模型到磁盘，并在需要时加载模型。 文本分类你还可以使用Gensim来进行文本分类任务。
5.2K00编辑于 2024-02-07 - 来自专栏软件研发
python中的gensim入门
安装和导入Gensim库首先，我们需要安装Gensim库。 可以使用pip包管理器来进行安装：pythonCopy codepip install gensim安装完成后，在Python代码中导入Gensim库：pythonCopy codeimport gensim 应用场景Gensim的功能强大，用途广泛。以下是一些常见的应用场景：文档相似性分析：使用Gensim的文本表示和相似性计算函数，可以计算文档之间的相似度。 但通过这个例子，你可以了解如何结合Gensim和其他库，在实际应用中使用文本分类和聚类的功能。Gensim 是一个强大的自然语言处理库，但它也有一些缺点。 下面是 Gensim 的一些缺点和类似的库：缺乏对深度学习模型的支持：Gensim 目前主要基于概率统计方法进行文本处理，缺乏对深度学习模型的内置支持。
1.4K20编辑于 2023-10-25 - 来自专栏银河系资讯
使用Gensim进行主题建模（一）
我将使用Gensim包中的Latent Dirichlet Allocation（LDA）以及Mallet的实现（通过Gensim）。Mallet有效地实现了LDA。 使用Gensim在Python中进行主题建模。摄影：Jeremy Bishop。 import re import numpy as np import pandas as pd from pprint import pprint # Gensim import gensim import gensim.corpora as corpora from gensim.utils import simple_preprocess from gensim.models import CoherenceModel Gensim对此很有帮助simple_preprocess()。此外，我已经设置deacc=True删除标点符号。
4.7K33发布于 2019-05-15 - 来自专栏AI机器学习与深度学习算法
使用Gensim模块训练词向量
word2vec是比较流行的训练词向量的算法，使用Gensim模块可以非常简单的训练出词向量。 ▲分词之后的维基百科 b 训 练 模 型 有了分词好的文本语料，接下来就可以通过Gensim模块中的word2vec函数来训练语料。 ?
1.9K20发布于 2020-03-27 - 来自专栏机器学习算法工程师
15分钟入门NLP神器—Gensim
2 步骤一：训练语料的预处理 由于Gensim使用python语言开发的，为了减少安装中的繁琐，直接使用anaconda工具进行集中安装， 输入：pip install gensim，这里不再赘述。 在交给Gensim的模型训练之前，我们需要将这些原生字符解析成Gensim能处理的稀疏向量的格式。由于语言和应用的多样性，我们需要先对原始的文本进行分词、去除停用词等操作，得到每一篇文档的特征列表。 通常，Gensim模型都接受一段训练语料（注意在Gensim中，语料对应着一个稀疏向量的迭代器）作为初始化的参数。显然，越复杂的模型需要配置的参数越多。 关于Gensim模型更多的介绍，可以参考这里：API Reference（https://radimrehurek.com/gensim/apiref.html） 4 步骤三：文档相似度的计算 在得到每一篇文档对应的主题向量后 官网：https://radimrehurek.com/gensim/
2.2K50发布于 2018-07-27 - 来自专栏机器学习算法原理与实践
用gensim学习word2vec
这里我们就从实践的角度，使用gensim来学习word2vec。 1. gensim安装与概述 gensim是一个很好用的Python NLP的包，不光可以用于使用word2vec，还有很多其他的API可以用。 当然我们可以可以直接使用C语言版的word2vec来学习，但是个人认为没有gensim的python版来的方便。 安装gensim是很容易的，使用"pip install gensim"即可。 安装成功的标志是你可以在代码里做下面的import而不出错： from gensim.models import word2vec 2. gensim word2vec API概述 在gensim 中，word2vec 相关的API都在包gensim.models.word2vec中。
1.8K30发布于 2018-08-07 - 来自专栏Hank’s Blog
解决Chunkize warning while installing gensim问题
chunkize_serial warnings.warn("detected Windows; aliasing chunkize to chunkize_serial") 解决方案： 在import gensim 前面加入： import warnings warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim') import gensim
79410发布于 2020-09-16 - 来自专栏全栈程序员必看
word2vec原理与Gensim使用
基本的思路是对于长度为1的线段，根据词语的词频将其公平地分配给每个词语： 5. word2vec实战 gensim文档：https://radimrehurek.com/gensim/models /word2vec.html 在gensim中，word2vec 相关的API都在包gensim.models.word2vec中。 和算法有关的参数都在类gensim.models.word2vec.Word2Vec中。算法需要注意的参数有： sentences: 我们要分析的语料，可以是一个列表，或者从文件中遍历读出。 sentences = word2vec.LineSentence("data.txt") // 模型的训练 model = gensim.models.Word2Vec(sentences, size ("word2Vec.bin", binary=True) // 载入 .bin文件 wordVec = gensim.models.KeyedVectors.load_word2vec_format
2K30编辑于 2022-08-29 - 来自专栏python与大数据分析
关于Excel表操作-通过gensim实现模糊匹配
gensim是一个Python的自然语言处理库，能够将文档根据TF-IDF，LDA，LSI等模型转换成向量模式，此外，gensim还实现了word2vec，能够将单词转换为词向量。 gensim的一些常见概念： 语料Corpus: 一组原始文本的集合，用于无监督地训练文本主题的隐层结构，语料中不需要人工标注的附加信息。 在Gensim中，Corpus通常是一个可迭代的对象（比如列表）。每次迭代返回一个可用于表达文本对象的稀疏向量。 向量Vector: 由一组文本特征构成的列表，是一段文本在Gensim中的内容部表达。 关于本文的步骤： 1、读取Excel表格 2、进行jieba分词 3、构建语料字典 4、通过doc2bow转换为稀疏向量 5、构建TfidfModel模型，进行训练 6、实现相似度查找 from gensim
1.4K10编辑于 2022-05-19 - 来自专栏深度学习
基于Gensim获取Word2Vec词向量
实际开发中，Gensim 是处理词向量常用的工具。它不仅支持多种公开词向量格式的直接加载，也提供了简洁的接口用于在本地语料上训练自定义词向量。 无论你是想快速加载一个模型做实验，还是针对特定业务从头训练，Gensim 都能以清晰的接口和较高的效率满足需求。 Gensim 官网：Documentation — gensim使用公开词向量获取Word2Vec词向量这个 GitHub 仓库（Embedding/Chinese-Word-Vectors）是一个专门提供中文词向量的开源项目 该格式是自然语言处理领域的通用标准格式，可以被 Gensim 等工具直接加载使用。 提供了十分方便的训练词向量的API——Word2Vecfrom gensim.models import Word2Vecmodel = Word2Vec( sentences,
35310编辑于 2026-01-17 - 来自专栏MyBlog
Gensim如何冻结某些词向量进行增量训练
Gensim是一个可以用于主题模型抽取，词向量生成的python的库。 像是一些NLP的预处理，可以先用这个库简单快捷的进行生成。 比如像是Word2Vec，我们通过简单的几行代码就可以实现词向量的生成，如下所示： import gensim from numpy import float32 as REAL import numpy as np word_list = ["I", "love", "you", "."] model = gensim.models.Word2Vec(sentences=word_list, vector_size 200, window=10, min_count=1, workers=4) # 打印词向量 print(model.wv["I"]) # 保存模型 model.save("w2v.out") 笔者使用Gensim Gensim本身是没有文档描述如何进行词向量冻结，但是我们通过查阅其源代码，发现其中有一个实验性质的变量可以帮助我们。
1K20发布于 2021-11-24 - 来自专栏数据STUDIO
强大的 Gensim 库用于 NLP 文本分析
Gensim简介 大名鼎鼎的 Gensim 是一款具备多种功能的神器。它是一个著名的开源 Python 库，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。 Gensim支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口。 安装和使用 可直接使用 pip 安装或 conda 环境安装 Gensim。 gensim 训练语料的预处理 训练语料的预处理指的是将文档中原始的字符文本转换成Gensim模型所能理解的稀疏向量的过程。 import gensim from gensim import corpora text1 = ["""Gensim is a free open-source Python library for 通常，Gensim模型都接受一段训练语料（注意在Gensim中，语料对应着一个稀疏向量的迭代器）作为初始化的参数。显然，越复杂的模型需要配置的参数越多。
3.8K32编辑于 2022-05-24 - 来自专栏NLP/KG
python：spacy、gensim库的安装遇到问题及bug处理
上课不要摸鱼江的博客-CSDN博客 我个人遇到问题可能是无法读取文件目录下的文件，只需要放到同一目录即可： 和main文件放在同级目录下就没有报错了，可能是因为我import spacy在子文件问题吧 2.gensim 安装gensim报错： 2.1：安装gensim失败，error: Microsoft Visual C++ 14.0 or greater is required 原因： 用pip去安装一些第三方包的时候会出现如下错误
4.4K20编辑于 2022-12-21 - 来自专栏小鹏的专栏
基于ngram-tf-idf的余弦距离(gensim实现)
基于gensim的方式如下： import os import jieba import pickle import logging import numpy as np from gensim import
64520发布于 2020-05-08 - 来自专栏素质云笔记
pyLDA系列︱gensim中的主题模型（Latent Dirichlet Allocation）
https://blog.csdn.net/sinat_26917383/article/details/79357700 笔者很早就对LDA模型着迷，最近在学习gensim库发现了LDA introduction to the LDA model: http://blog.echen.me/2011/08/22/introduction-to-latent-dirichlet-allocation/ Gensim ’s LDA API documentation: https://radimrehurek.com/gensim/models/ldamodel.html Topic modelling in Gensim radimrehurek.com/topic_modeling_tutorial/2%20-%20Topic%20Modeling.html . ---- 1 模型需要材料 材料 解释 示例 corpus 用过gensim First, enable logging (as described in many Gensim tutorials), and set eval_every = 1 in LdaModel.
3K40发布于 2019-05-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号