- 综合排序
- 最热优先
- 最新优先
- 来自专栏火星娃统计
GEO数据挖掘4
GEO数据挖掘4 sunqi 2020/7/12 概述 对GEO数据进行差异分析 简单比较 rm(list = ls()) options(stringsAsFactors = F) options(digits = 4) #设置全局的数字有效位数为4 load(file = 'step1-output.Rdata') #导入的数据中，dat为表达矩阵，group_list为分组信息 #按照group_list "jco", add = "jitter") # 添加p值 p + stat_compare_means()# 添加比较函数，默认使用wilcox } # 对4个样本的箱式图绘制 bp(dat[4,]) ? 结束语 这里对GEO数据的差异分析已经结束，后续为kegg和go分析 love&peace
1.3K20发布于 2020-09-15 Python数据挖掘编程基础4
b.需要特别指出的是，Python一般不使用花括号({}），也没有end语句，可使用缩进对齐作为语句的层次标记。同一层次的缩进量要一一对应，否则会报错。以下是一个错误的缩进实例，如代码清单2-9所示。
15710编辑于 2025-05-09- 来自专栏PPV课数据科学社区
数据挖掘系列（4）使用weka做关联规则挖掘
前面几篇介绍了关联规则的一些基本概念和两个基本算法，但实际在商业应用中，写算法反而比较少，理解数据，把握数据，利用工具才是重要的，前面的基础篇是对算法的理解，这篇将介绍开源利用数据挖掘工具weka进行管理规则挖掘 arff稀疏数据集 我们做关联规则挖掘，比如购物篮分析，我们的购物清单数据肯定是相当稀疏的，超市的商品种类有上10000种，而每个人买东西只会买几种商品，这样如果用矩阵形式表示数据显然浪费了很多的存储空间 ，进行关联规则挖掘时，我们可以先把商品名字映射为id号，挖掘的过程只有id号就是了，到规则挖掘出来之后再转回商品名就是了，retail.txt是一个转化为id号的零售数据集，数据集的前面几行如下： 1、安装好weka后，打开选择Explorer 2、打开文件 3、选择关联规则挖掘，选择算法 4、设置参数 参数主要是选择支持度(lowerBoundMinSupport)，规则评价机制 来源：www.cnblogs.com/fengfenggirl 系列好文： 数据挖掘系列（1）关联规则挖掘基本概念与Aprior算法 数据挖掘系列（2）--关联规则FpGrowth算法 数据挖掘系列
3.1K60发布于 2018-04-23 - 来自专栏PPV课数据科学社区
数据分析&数据挖掘入门知识分享（4）
编者按：本文为 数据分析&数据挖掘入门知识分享（3）的连载，还有一部分待上传，欢迎小伙伴们关注学习，若对您有帮助请分享至朋友圈，让更多人学习！ 以下图片点击横屏观看效果更佳
92050发布于 2018-04-24 - 来自专栏人生代码
数据挖掘实践指南读书笔记4
写在之前 本书涉及的源程序和数据都可以在以下网站中找到： http://guidetodatamining.com/ 这本书理论比较简单，书中错误较少，动手锻炼较多，如果每个代码都自己写出来，收获不少。 算法评估与KNN 10-flod Cross Validation：将数据集分为10份，使用其中9份进行训练，另外1份用作测试，重复该过程10次。 结果是随机的，不是确定值，和数据的划分有关。缺点在于计算机开销很大。分层采样的时候保证样本的均匀性很重要。 混淆矩阵：行表示测试样本的真实类别，列表示预测器所预测出来的类别。可揭示分类器性能。 classes that received the max votes answer = random.choice(possibleAnswers) return( answer) 做工程，数据量大的时候算法的效果越好
43020发布于 2019-10-30 - 来自专栏生物信息云
TCGA数据挖掘（四）：表达差异分析（4）
在之前我们的文章：TCGA数据挖掘（三）：表达差异分析中，我们利用的是TCGAbiolinks包中的TCGAanalyze_DEA函数进行差异表达分析，我们也提到可以选择基于limma或edgeR包进行分析 ，TCGA数据挖掘（三）：表达差异分析这一讲中我们利用的是edgeR包，之后我们在文章：TCGA数据挖掘（四）：表达差异分析（2）和TCGA数据挖掘（四）：表达差异分析（3）中分别也介绍了其他方法的差异分析 数据下载 基因表达数据的下载 数据下载代码和之前的一样，这里再提供一次。避免出错不知道原因。 # 去除dataPrep1中的异常值，dataPrep数据中含有肿瘤组织和正常组织的数据 dataPrep <- TCGAanalyze_Preprocessing(object = dataPrep1 # 然后，数据即可用于线性建模。
4.9K51发布于 2019-09-18 - 来自专栏韩曙亮的移动开发专栏
【数据挖掘】数据挖掘总结 ( 数据挖掘相关概念 ) ★★
用于挖掘的数数据源 必须 真实 : ① 存在的真实数据 : 数据挖掘处理的数据一般是存在的真实数据 , 不是专门收集的数据 ; ② 数据收集 : 该工作不属于数据挖掘范畴 , 属于统计任务 ; 2 . ; 4 . , 如金融领域数据挖掘结果 , 只能在金融领域及相关领域使用 ; 参考博客 : 【数据挖掘】数据挖掘简介 ( 数据挖掘引入 | KDD 流程 | 数据源要求 | 技术特点 ) 二、 数据挖掘组件化思想 数据挖掘任务分类 : 根据数据挖掘的目标 , 可以将数据挖掘任务分为以下几类 : ① 模式挖掘 , ② 描述建模 , ③ 预测建模 ; 描述建模 和 预测建模 又称为 模型挖掘 ; ① 模式挖掘 : 如 评分函数作用 : 为 模型 ( 模式 ) 选出最合适的参数值 ; 4 .
5.3K00编辑于 2023-03-28 - 来自专栏数据科学与人工智能
【数据挖掘】图数据挖掘
那么图数据挖掘是干什么的呢？难道是开着挖掘机来进行挖掘？还是扛着锄头？下面讲讲什么是图数据挖掘。 那么不难理解，数据挖掘就是挖掘数据里面的“宝贝”，图数据挖掘，就是以图的结构来存储、展示、思考数据，以达到挖掘出其中的“宝贝”。那这个“宝贝”是什么？ 既然说道图，那么不得不提一下在图数据库方面最流行的neo4j.neo4j是在09年过年的时候接触的，当时是调研以何种方式来存储图数据，所以当时弄了一下，后没就没关注了。 当时看neo4j真的很小，不像现在这么成熟。 三、NEO4J预览 在NEO4J官方文档里面会看到下面几点介绍图数据库。 这里明确的表示了图数据是干什么的，同时也表达了NEO4J是干什么的。他是管理和维护图数据CRUD，并且维护图数据的索引建立和更新。是对图数据操作的一个对外接口。
3.3K81发布于 2018-02-27 - 来自专栏往期博文
【数据挖掘】任务4：20Newsgroups聚类
要求 根据20Newsgroups数据集进行聚类，将聚类结果显示给用户，用户可以选择其中的一个类，标为关注，类的关键词作为主题，用户就可以跟踪这主题、了解主题的文章内容。 ('headers', 'footers', 'quotes')) 数据预览 可以看到，新闻数据共有20个分类 对各类别的数量进行可视化处理 dataset.target_names ['alt.atheism 为了提升聚类的准确性，在聚类之前先对数据进行预处理，剔除数据中的数字和标点，并将大写字母转换成小写 dataset_df = pd.DataFrame({'data': dataset.data, ' folks my mac plus finally gave up the gh... 3 \ndo you have weitek s address phone number ... 4 format(cluster)) # 测试集预测结果可视化 count_target = dataset_df['target'].value_counts() plt.figure(figsize=(8, 4)
71420编辑于 2022-09-01 - 来自专栏韩曙亮的移动开发专栏
【数据挖掘】数据挖掘简介 ( 6 个常用功能 | 数据挖掘结果判断 | 数据挖掘学习框架 | 数据挖掘分类 )
数据挖掘 功能 II . 数据挖掘 结果判断 III . 数据挖掘 学习框架 IV . 数据挖掘 分类 I . 数据挖掘 功能 ---- 1 . ; 4 . 数据挖掘 结果判断 ---- 数据挖掘结果判断 : 数据挖掘得出的 知识 / 模式 , 如何判断得出的结果是否有效 ; ① 客观判断方法 : 通过科学计算进行判断是否正确 , 该计算基于 模式 的t 统计和结构 数据挖掘应用 : CRM , 搜索分析 , 网络安全 , 生物信息分析 … IV . 数据挖掘 分类 ---- 1 . 根据采用的技术分类 : 如 机器学习 , 模式识别 , 神经网络 , 可视化 等技术类型的 数据挖掘 ; 4 . 根据应用领域分类 : 如 金融 , 生物 , 电讯 等领域的数据挖掘 ;
1.6K20编辑于 2023-03-27 - 来自专栏韩曙亮的移动开发专栏
【数据挖掘】数据挖掘总结 ( 数据挖掘特点 | 数据挖掘组件化思想 | 决策树模型 ) ★
; 4 . , 如金融领域数据挖掘结果 , 只能在金融领域及相关领域使用 ; 参考博客 : 【数据挖掘】数据挖掘简介 ( 数据挖掘引入 | KDD 流程 | 数据源要求 | 技术特点 ) 二、 数据挖掘组件化思想 评分函数作用 : 为 模型 ( 模式 ) 选出最合适的参数值 ; 4 . , 60 分以上分为及格数据 ; 4 . B站 刷一下信息论课程 ; ① 信息 与 熵 的关系 : 信息 会 消除 熵 , 熵 代表了不确定性 , 信息用来消除不确定性 ; ② 信息增益 : 信息增益大的属性 , 能最大消除熵的不确定性 ; 4
1.4K00编辑于 2023-03-28 - 来自专栏数据科学与人工智能
【数据挖掘】数据挖掘#商业智能（BI）数据分析挖掘概念
数据挖掘目前在各类企业和机构中蓬勃发展。因此我们制作了一份此领域常见术语总结，希望你喜欢。 大数据（Big Data）: 大数据既是一个被滥用的流行语，也是一个当今社会的真实趋势。此术语指代总量与日俱增的数据，这些数据每天都在被捕获、处理、汇集、储存、分析。 机器学习（Machine Learning）: 一个学科，研究从数据中自动学习，以便计算机能根据它们收到的反馈调整自身运行。与人工智能、数据挖掘、统计方法关系密切。 文本挖掘（Text Mining）: 对包含自然语言的数据的分析。对源数据中词语和短语进行统计计算，以便用数学术语表达文本结构，之后用传统数据挖掘技术分析文本结构。 网络挖掘/网络数据挖掘（Web Mining / Web Data Mining) : 使用数据挖掘技术从互联网站点、文档或服务中自动发现和提取信息。
3.2K90发布于 2018-02-27 - 来自专栏数据科学与人工智能
R语言做数据挖掘4本电子书
这是我的第77篇原创文章，关于R语言和数据挖掘。 阅读完本文，你可以知道： 1 R语言做数据挖掘4本电子书 “读书是易事，思索是难事，但两者缺一，便全无用处。” 富兰克林 曾几何时，我在一次面试中，面试官问，“数据挖掘和机器学习有什么区别？”，朋友们也可以思考下这个问题。 实际工作中，我们有时候用R语言做数据分析工作；也有时候需要使用R语言做数据挖掘的工作。 我在这里分享4本R语言做数据挖掘的书籍，你想用R语言做数据挖掘的工作，可以获取和阅读它们。你想了解数据挖掘的十大常用算法的R语言实现，可以从这些书籍里面找到答案。 No.4 Data Mining With R Learning with Case Studies ? 温馨提示：这些电子书，仅供学习使用。 R语言做数据挖掘，你可以阅读第一本书，正如书名而言，学习用R语言做数据挖掘；若是你想了解如何使用R语言来解释各种数据挖掘算法，你可以阅读第二本书，这本大部头介绍数据挖掘里面分类，回归和聚类问题的算法以及如何用
72210发布于 2020-03-25 - 来自专栏数据科学与人工智能
【数据挖掘】大数据知识之数据挖掘
从市场需求及应用的角度来看，通过对大数据的存储、挖掘和分析，大数据在管理、营销、数据标准化等领域大有可为，促使管理/服务水平提升、营销方式改进等。下面我们就来讲讲数据挖掘的那些事。 4人工神经网络和遗传基因算法 人工神经网络是一个迅速发展的前沿研究领域，对计算机科学 人工智能、认知科学以及信息技术等产生了重要而深远的影响，而它在数据挖掘中也扮演着非常重要的角色。 数据挖掘通常会涉及较复杂的数学方法和信息技术，为了方便用户理解和使用这类技术，必须借助图形、图象、动画等手段形象地指导操作、引导挖掘和表达结果等，否则很难推广普及数据挖掘技术。 4建模 选择和应用各种建模技术，并对其参数进行优化。 5模型评估 对模型进行较为彻底的评价，并检查构建模型的每个步骤，确认其是否真正实现了预定的商业目的。 至于数据挖掘的未来，让我们拭目以待。
2K90发布于 2018-02-26 - 来自专栏数据科学与人工智能
【数据挖掘】系统地学习数据挖掘
问题：如何系统地学习数据挖掘？ 虽然是本科毕业,但是在看数据挖掘方面的算法理论时经常感觉一些公式的推导过程如天书一般,例如看svm的数学证明,EM算法.. ●什么是数据挖掘？ ●怎么培养数据分析的能力？ ●如何成为一名数据科学家？ 磨刀不误砍柴工。在学习数据挖掘之前应该明白几点： ●数据挖掘目前在中国的尚未流行开，犹如屠龙之技。 ●数据初期的准备通常占整个数据挖掘项目工作量的70%左右。 ●数据挖掘本身融合了统计学、数据库和机器学习等学科，并不是新的技术。 ●数据挖掘技术更适合业务人员学习（相比技术人员学习业务来的更高效） ●数据挖掘适用于传统的BI（报表、OLAP等）无法支持的领域。 ●数据挖掘项目通常需要重复一些毫无技术含量的工作。 ●经典图书推荐：《概率论与数理统计》、《统计学》推荐David Freedman版、《业务建模与数据挖掘》、《数据挖掘导论》、《SAS编程与数据挖掘商业案例》、《Clementine数据挖掘方法及应用
1.6K50发布于 2018-02-27 - 来自专栏数据科学与人工智能
【数据挖掘】常用的数据挖掘方法
数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程 利用数据挖掘进行数据分析常用的方法主要有分类 、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等， 它们分别从不同的角度对数据进行挖掘。 在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据 意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。 ⑦ Web页挖掘。 随着Internet的迅速发展及Web 的全球普及， 使得Web上的信息量无比丰富，通过对Web的挖掘，可以利用Web 的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息
3.2K60发布于 2018-02-27 - 来自专栏全栈程序员必看
数据挖掘——关联规则挖掘
《数据挖掘》国防科技大学 《数据挖掘》青岛大学 数据挖掘之关联规则挖掘 关联规则挖掘（Association Rule Mining）最早是由Agrawal等人提出。 形式化描述 • 关联规则挖掘的交易数据集记为D • D ＝｛T1，T2，…，Tk，…,Tn｝，Tk（k＝1,2,…，n）称为交易，每个交易有唯一的标识，记作TID。 基本概念 挖掘关联规则 在给定一个交易数据集D上，挖掘关联规则问题就是产生支持度和置信度分别大于等于用户给定的最小支持度阈值和最小置信度阈值的关联规则。 原始方法 蛮力法（brute-force approach）：计算每个可能的规则的支持度和置信度 计算代价过高（可能提取的规则的数量达指数级） 4. 构造FP树： 扫描数据库，得到频繁1-项集，并把项按支持度递减排序 再一次扫描数据库，建立FP-tree（遍历每一个事务，构造成一条路径，并给项计数） 生成条件模式： 从FP-tree的头表开始
3.3K10编辑于 2022-09-09 - 来自专栏数据科学与人工智能
【数据挖掘】数据挖掘工作总结
导读：很多人不明白学习数据挖掘以后干什么，这个问题也经常被问到。记得刚学数据挖掘的时候，有一个老师说学数据挖掘有什么用，你以后咋找工作。当时听了，觉得很诧异，不知道他为何有此一问。 数据挖掘在国外是一份很不错的工作。我喜欢数据挖掘，因为它很有趣。很高兴以后就从事这方面的工作啦。写论文之余，也考虑一下数据挖掘工程师的职业规划。 ? 以下是从网上找的一些相关资料介绍，和即将走上数据挖掘岗位或是想往这方面发展的朋友共享： 数据挖掘从业人员工作分析 1.数据挖掘从业人员的愿景： 数据挖掘就业的途径从我看来有以下几种，(注意：本文所说的数据挖掘不包括数据仓库或数据库管理员的角色 从这个方面切入数据挖掘领域的话你需要学习《数理统计》、《概率论》、《统计学习基础：数据挖掘、推理与预测》、《金融数据挖掘》,《业务建模与数据挖掘》、《数据挖掘实践 》等，当然也少不了你使用的工具的对应说明书了 ，如SPSS、SAS等厂商的《SAS数据挖掘与分析》、《数据挖掘Clementine应用实务》、《EXCEL 2007数据挖掘完全手册》等，如果多看一些如《数据挖掘原理》 等书籍那就更好了。
1.8K60发布于 2018-02-27 - 来自专栏数据科学与人工智能
【数据挖掘】数据挖掘 特异群组挖掘的框架与应用
将这些对象形成的群组改用abnormal group[4]表示。 ? 2、 特异群组挖掘与聚类和异常检测的关系 特异群组是指由给定大数据集里面少数相似的数据对象组成的、表现出相异于大多数数据对象而形成异常的群组[3,4]，是一种高价值低密度的数据形态。 4 、特异群组挖掘框架算法 对于τ-特异群组挖掘问题，传统的聚类算法无法直接使用。因为，聚类算法通常要求用户指定一个相似性阈值（或相关参数），而这样的限制不能保证结果中相似对象的数量满足阈值τ。 图6 公安系统跟车行为检测 （4）电子商务交易中的信誉欺诈挖掘 大多数在线交易平台（如eBay.com和Taobao.com）都已建立交易双方的信用评分系统。 参考文献[4]对特异群组挖掘算法进行了性能评估实验，对比的算法主要是经典的聚类算法DBSCAN、BBC、SynC以及基于无剪枝的数据对象两两比对的NavAllPairs算法，如图7所示。
2.1K100发布于 2018-02-27 - 来自专栏ellipse数据库技术
数据挖掘
数据挖掘——就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等， 它们分别从不同的角度对数据进行挖掘。 ①分类。 在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据 意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。 ⑦Web页挖掘。 随着Internet的迅速发展及Web 的全球普及， 使得Web上的信息量无比丰富，通过对Web的挖掘，可以利用Web 的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息
1.1K20发布于 2019-09-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号