- 综合排序
- 最热优先
- 最新优先
- 来自专栏火星娃统计
GEO数据挖掘5
GEO数据挖掘5 sunqi 2020/7/13 GEO数据挖掘5 概述 GO和KEGG富集分析 KEGG全称 Kyoto Encyclopedia of Genes and Genomes，由日本京都大学生物信息学中心的 数据库能够把基因及表达信息作为一个整体的网络进行研究，通俗点讲就是通过基因寻找通路 GO全称为gene ontology，由基因本体联合会（Gene Ontology Consortium）建立的数据库 ，数据库对基因和蛋白功能进行限定和描述 GEO数据挖掘离不来富集分析，单纯的差异表达基因不能说明什么问题，只有对基因根据现有知识做定义定位分类，这样才能在生物学上解释这个差异，也就是故事才能讲顺了 注释 ：GO和KEGG的具体作用不再赘述，等代码实现完成之后后续再学习理论知识 另外，KEGG和GO分析可以通过软件实现，具体参考官网 数据预处理 用到的数据集为差异分析后得到的数据集deg，详情见上章 rm by cytochrome P450 3/82 ## hsa04390 hsa04390 Hippo signaling pathway 5/
1.4K10发布于 2020-09-15 Python数据挖掘编程基础5
2.1.3函数1.函数是Python为了是代码效率最大化、减少冗余而提供的最基本的数据结构。函数实现了对整段程序逻辑的封装，是程序逻辑的结构化或过程化的一种编程方法。
14810编辑于 2025-05-09- 来自专栏PPV课数据科学社区
数据挖掘系列（5）使用mahout做海量数据关联规则挖掘
上一篇介绍了用开源数据挖掘软件weka做关联规则挖掘，weka方便实用，但不能处理大数据集，因为内存放不下，给它再多的时间也是无用，因此需要进行分布式计算，mahout是一个基于hadoop的分布式数据挖掘开源项目 掌握了关联规则的基本算法和使用，加上分布式关联规则挖掘后，就可以处理基本的关联规则挖掘工作了，实践中只需要把握业务，理解数据便可游刃有余。 数据准备 到http://fimi.ua.ac.be/data/下载一个购物篮数据retail.dat。 待续…… 来源：www.cnblogs.com/fengfenggirl 关联好文： 数据挖掘系列（1）关联规则挖掘基本概念与Aprior算法 数据挖掘系列（2）--关联规则FpGrowth算法 数据挖掘系列 （3）--关联规则评价 数据挖掘系列（4）使用weka做关联规则挖掘
96340发布于 2018-04-23 - 来自专栏机器学习AI算法工程
【趣味】数据挖掘(5)—分房与分类
故事中没有月亮、云朵和晚风，却有关于数据挖掘中的分类技术的启示；虽然，现在不再分福利房了，但此故事既回顾历史，也解释了分类技术若干要点，有参考价值。 厂长秘书起草了一个分房样板，交给工会分房委员会，征求意见，旨在修改成一个群众满意，领导认可的样板；用数据挖掘的行话描述，要构造一个正确的、用于分类的训练数据集和测试数据集，格式如表1。 3、训练集相当于教练，训练出的分类公式相当于学生 样板比较直观，但不便于推广使用，要从训练数据中挖掘出一个分房（分类）公式，数据挖掘假定真理就在训练集之中，尽管到现在还不知道它将表达陈什么摸样。 经过认真核实讨论，能在很大程度上简明化、公正化，使训练数据和测试集基本符合群众利益，自然也会符合好领导的意图。 5、 第一个训练结果，删除无用的列--属性选择。 事实上，在数据挖掘中，分类是比关联规则更复杂的技术，计算机专业的硕士生、博士生也要花好几周，甚至更长时间才学得扎实。
81330发布于 2018-03-09 - 来自专栏搜狗测试
软件品质评测系统- 数据挖掘处理平台
软件品质评测体系建立之后，在进行评测之前首先要确定评测使用的数据，这就需要数据挖掘平台发挥作用了，本文将以输入法评测语料制作为例介绍我们的评测数据挖掘处理平台。 1 数据挖掘处理原则 全面性 使用场景 依照不同用户需要的打字环境的差别，结合当前使用频率较高的几种应用，尽可能全面地覆盖用户使用的打字场景，主要分为以下两个类别： 聊天场景：用户聊天的打字内容，例如 因此我们在挖掘用户打字行为时，除了满足普通打字需求的同时也设计了多种用户可能的行为，包括联想、组词、纠错、退格等。 清洗前的数据： ? 清洗后的数据： ? 数据分词 经过清洗后的数据，仍然是以大段的文章形式存储的，还不能直接拿来使用，需要使用特定的工具对其进行分词处理。 expect_cand": ""} //表示退格 {"pinyin": "#", "expect_cand": ""} //表示换行 ], "键盘类型":26 } 4结语 评测数据挖掘不是一成不变的
93020发布于 2020-07-16 - 来自专栏人生代码
数据挖掘实践指南读书笔记5
写在之前 本书涉及的源程序和数据都可以在以下网站中找到： http://guidetodatamining.com/ 这本书理论比较简单，书中错误较少，动手锻炼较多，如果每个代码都自己写出来，收获不少。 当处理的数据是连续的时候，有两种解决办法。一是离散化，构建类别；一是假设概率分布服从高斯分布，然后计算概率。 样本标准差： ? -(x-mean)**2/(2*ssd**2)) print (ePart) return (1.0 / (math.sqrt(2*math.pi)*ssd)) * ePart # 连续数据的训练 probability #print(results) return(max(results)[1]) 贝叶斯和kNN的比较 贝叶斯优点：实现简单，和其他方法相比需要的训练数据更少 kNN优点：实现简单，不用考虑数据特定的结构，需要大量的内存来存储训练集 kNN缺点：训练集很大的时候是一个合理的选择。 许多真实数据挖掘问题中，很多属性不是独立的。有时候可以假设独立。
44010发布于 2019-11-05 - 来自专栏韩曙亮的移动开发专栏
【数据挖掘】数据挖掘总结 ( 数据挖掘相关概念 ) ★★
用于挖掘的数数据源 必须 真实 : ① 存在的真实数据 : 数据挖掘处理的数据一般是存在的真实数据 , 不是专门收集的数据 ; ② 数据收集 : 该工作不属于数据挖掘范畴 , 属于统计任务 ; 2 . 数据必须海量 : ① 少量数据处理 : 少量数据使用统计方法分析 , 不必使用数据挖掘 ; ② 海量数据 : 处理海量数据时 , 才使用数据挖掘 , 涉及到 有效存储 , 快速访问 , 合理表示 等方面的问题 , 如金融领域数据挖掘结果 , 只能在金融领域及相关领域使用 ; 参考博客 : 【数据挖掘】数据挖掘简介 ( 数据挖掘引入 | KDD 流程 | 数据源要求 | 技术特点 ) 二、 数据挖掘组件化思想 数据挖掘任务分类 : 根据数据挖掘的目标 , 可以将数据挖掘任务分为以下几类 : ① 模式挖掘 , ② 描述建模 , ③ 预测建模 ; 描述建模 和 预测建模 又称为 模型挖掘 ; ① 模式挖掘 : 如 , 确定一组参数值 , 使评分函数最优 , 这是优化问题 ; ② 结构不确定 ( 搜索问题 ) : 搜索 既需要确定 模型 ( 模式 ) 的结构 , 又需要确定其参数值 , 这种类型是搜索问题 ; 5
5.3K00编辑于 2023-03-28 - 来自专栏接地气学堂
用文本挖掘剖析近5万首《全唐诗》【数据挖掘实战】
所以，笔者想从文本（数据）挖掘的角度去“探索”全唐诗，挑战一些不同场景下（现代汉语和古汉语）文本处理和分析的异同点，锤炼自己的分析技能；但更想做的是，结合数据之美和诗歌之雅，用跨界思维去发现一些有趣的东西 三、语义网络分析：发现唐诗中的常用“字眼” 在这一部分，笔者抽取的是上述高频字TOP148中的字的共现关系，详细的原理介绍请参考笔者之前所写的博文《以虎嗅网4W+文章的文本挖掘为例，展现数据分析的一整套流程 》、《以<大秦帝国之崛起>为例，来谈大数据舆情分析和文本挖掘》。 但是，笔者是想通过分析唐诗，来说下自己对于文本（数据）挖掘的看法： 在数据分析中，得出的数据结果只是“引子”和“线索”，最重要的还是要靠人脑去分析结果，借助所掌握的背景/业务知识和分析模型，从文本的表层钻取到其深层 8F%E8%B1%A1 5 汉语中字与词的关系？
1.5K30发布于 2019-12-09 - 来自专栏数据科学与人工智能
【数据挖掘】图数据挖掘
那么图数据挖掘是干什么的呢？难道是开着挖掘机来进行挖掘？还是扛着锄头？下面讲讲什么是图数据挖掘。 一、什么是图数据挖掘 这个话题感觉比较沉重，以至于我敲打每个字都要犹豫半天，这里我说说我对图数据挖掘的理解。数据是一个不可数名字，那么说明数据是一个没有边界的东西。 那么不难理解，数据挖掘就是挖掘数据里面的“宝贝”，图数据挖掘，就是以图的结构来存储、展示、思考数据，以达到挖掘出其中的“宝贝”。那这个“宝贝”是什么？ 那么对这个图进行关系挖掘，那么会产生很多有用的数据，比如可以推荐你可能认识的人，那就是朋友的朋友，甚至更深，这就形成了某空间好友推荐的功能。比如某宝的你可能喜欢的宝贝，可以通过图数据挖掘来实现。 这就是我认为的图数据挖掘。 从学术上讲，图数据挖掘分为数据图，模式图两种。至于这两个类型的区别，由于很久没有关注这块，所以只能给出一个字面意义上的区别。
3.3K81发布于 2018-02-27 - 来自专栏加米谷大数据
大数据使用的5种主要数据挖掘技术
数据挖掘涉及“处理数据和识别信息中的模式和趋势”，根据IBM所说，“数据挖掘原理已经存在了许多年，但是随着大数据的出现，它更为流行了。” 数据挖掘技术帮助专业人员了解可用数据集。这些技术可以为企业和其他组织提供描述性和预测性的能力。 1 关联规则 关联规则使两个或多个项之间的关联以确定它们之间的模式。 每个答案将会引出进一步的问题，该问题又可被用于分类或识别可被进一步分类的数据，或者可以基于每个答案进行预测。 将数据分成多个叶结点，所有叶结点的数据记录数的加和等于输入数据的记录总数。 5 序列模式 序列模式识别相似事件的趋势或通常情况发生的可能。这种数据挖掘技术经常被用来助于理解用户购买行为。许多零售商通过数据和序列模式来决定他们用于展示的产品。 成都加米谷教育，专注于大数据人才培养，9月下旬数据分析与挖掘培训班新课正在火热咨询报名中，活动好礼可叠加使用！
98730发布于 2019-01-09 - 来自专栏韩曙亮的移动开发专栏
【数据挖掘】数据挖掘简介 ( 6 个常用功能 | 数据挖掘结果判断 | 数据挖掘学习框架 | 数据挖掘分类 )
数据挖掘 功能 II . 数据挖掘 结果判断 III . 数据挖掘 学习框架 IV . 数据挖掘 分类 I . 数据挖掘 功能 ---- 1 . 5 . 数据挖掘 结果判断 ---- 数据挖掘结果判断 : 数据挖掘得出的 知识 / 模式 , 如何判断得出的结果是否有效 ; ① 客观判断方法 : 通过科学计算进行判断是否正确 , 该计算基于 模式 的t 统计和结构 数据挖掘 学习框架 ---- 1 . 数据挖掘技术 ( 重点 ) : 聚类分析 , 异常检测 , 分类 , 关联规则分析 , 序列模式分析 , 数据方体与数据仓库 ; 2 . 数据挖掘应用 : CRM , 搜索分析 , 网络安全 , 生物信息分析 … IV . 数据挖掘 分类 ---- 1 .
1.6K20编辑于 2023-03-27 - 来自专栏大大的小数据
泰迪TIPM开源数据挖掘建模平台测试2021.9.14
1、http://python.tipdm.org/ 2、 3、 4、 5、 6、 7、看不到数据 8、 查看报告
29630编辑于 2022-09-22 - 来自专栏韩曙亮的移动开发专栏
【数据挖掘】数据挖掘总结 ( 数据挖掘特点 | 数据挖掘组件化思想 | 决策树模型 ) ★
文章目录 一、 数据挖掘特点 二、 数据挖掘组件化思想 三、 决策树模型 1、 决策树模型创建 2、 树根属性选择 一、 数据挖掘特点 ---- 1 . 用于挖掘的数数据源 必须 真实 : ① 存在的真实数据 : 数据挖掘处理的数据一般是存在的真实数据 , 不是专门收集的数据 ; ② 数据收集 : 该工作不属于数据挖掘范畴 , 属于统计任务 ; 2 . , 如金融领域数据挖掘结果 , 只能在金融领域及相关领域使用 ; 参考博客 : 【数据挖掘】数据挖掘简介 ( 数据挖掘引入 | KDD 流程 | 数据源要求 | 技术特点 ) 二、 数据挖掘组件化思想 数据挖掘任务分类 : 根据数据挖掘的目标 , 可以将数据挖掘任务分为以下几类 : ① 模式挖掘 , ② 描述建模 , ③ 预测建模 ; 描述建模 和 预测建模 又称为 模型挖掘 ; ① 模式挖掘 : 如 , 确定一组参数值 , 使评分函数最优 , 这是优化问题 ; ② 结构不确定 ( 搜索问题 ) : 搜索 既需要确定 模型 ( 模式 ) 的结构 , 又需要确定其参数值 , 这种类型是搜索问题 ; 5
1.4K00编辑于 2023-03-28 - 来自专栏数据科学与人工智能
【数据挖掘】数据挖掘#商业智能（BI）数据分析挖掘概念
数据挖掘目前在各类企业和机构中蓬勃发展。因此我们制作了一份此领域常见术语总结，希望你喜欢。 大数据（Big Data）: 大数据既是一个被滥用的流行语，也是一个当今社会的真实趋势。此术语指代总量与日俱增的数据，这些数据每天都在被捕获、处理、汇集、储存、分析。 机器学习（Machine Learning）: 一个学科，研究从数据中自动学习，以便计算机能根据它们收到的反馈调整自身运行。与人工智能、数据挖掘、统计方法关系密切。 文本挖掘（Text Mining）: 对包含自然语言的数据的分析。对源数据中词语和短语进行统计计算，以便用数学术语表达文本结构，之后用传统数据挖掘技术分析文本结构。 网络挖掘/网络数据挖掘（Web Mining / Web Data Mining) : 使用数据挖掘技术从互联网站点、文档或服务中自动发现和提取信息。
3.2K90发布于 2018-02-27 - 来自专栏数据科学与人工智能
【数据挖掘】大数据知识之数据挖掘
从市场需求及应用的角度来看，通过对大数据的存储、挖掘和分析，大数据在管理、营销、数据标准化等领域大有可为，促使管理/服务水平提升、营销方式改进等。下面我们就来讲讲数据挖掘的那些事。 目前在数据挖掘中，最常使用的两种神经网络是BP网络和RBF网络 不过，由于人工神经网络还是一个新兴学科，一些重要的理论问题尚未解决。 5规则归纳 规则归纳相对来讲是数据挖掘特有的技术。 数据挖掘通常会涉及较复杂的数学方法和信息技术，为了方便用户理解和使用这类技术，必须借助图形、图象、动画等手段形象地指导操作、引导挖掘和表达结果等，否则很难推广普及数据挖掘技术。 5模型评估 对模型进行较为彻底的评价，并检查构建模型的每个步骤，确认其是否真正实现了预定的商业目的。 至于数据挖掘的未来，让我们拭目以待。
2K90发布于 2018-02-26 - 来自专栏数据科学与人工智能
【数据挖掘】系统地学习数据挖掘
●什么是数据挖掘？ ●怎么培养数据分析的能力？ ●如何成为一名数据科学家？ 磨刀不误砍柴工。在学习数据挖掘之前应该明白几点： ●数据挖掘目前在中国的尚未流行开，犹如屠龙之技。 ●数据初期的准备通常占整个数据挖掘项目工作量的70%左右。 ●数据挖掘本身融合了统计学、数据库和机器学习等学科，并不是新的技术。 ●数据挖掘技术更适合业务人员学习（相比技术人员学习业务来的更高效） ●数据挖掘适用于传统的BI（报表、OLAP等）无法支持的领域。 ●数据挖掘项目通常需要重复一些毫无技术含量的工作。 ●经典图书推荐：《概率论与数理统计》、《统计学》推荐David Freedman版、《业务建模与数据挖掘》、《数据挖掘导论》、《SAS编程与数据挖掘商业案例》、《Clementine数据挖掘方法及应用 ●可以尝试改进一些主流算法使其更加快速高效，例如实现Hadoop平台下的SVM云算法调用平台--web 工程调用hadoop集群。 ●需要广而深的阅读世界著名会议论文跟踪热点技术。
1.6K50发布于 2018-02-27 - 来自专栏数据科学与人工智能
【数据挖掘】常用的数据挖掘方法
数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程 利用数据挖掘进行数据分析常用的方法主要有分类 、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等， 它们分别从不同的角度对数据进行挖掘。 在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据 意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。 ⑦ Web页挖掘。 随着Internet的迅速发展及Web 的全球普及， 使得Web上的信息量无比丰富，通过对Web的挖掘，可以利用Web 的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息
3.2K60发布于 2018-02-27 - 来自专栏全栈程序员必看
数据挖掘——关联规则挖掘
《数据挖掘》国防科技大学 《数据挖掘》青岛大学 数据挖掘之关联规则挖掘 关联规则挖掘（Association Rule Mining）最早是由Agrawal等人提出。 形式化描述 • 关联规则挖掘的交易数据集记为D • D ＝｛T1，T2，…，Tk，…,Tn｝，Tk（k＝1,2,…，n）称为交易，每个交易有唯一的标识，记作TID。 基本概念 挖掘关联规则 在给定一个交易数据集D上，挖掘关联规则问题就是产生支持度和置信度分别大于等于用户给定的最小支持度阈值和最小置信度阈值的关联规则。 FP树是一种输入数据的压缩表示，它通过逐个读入事务，并把每个事务映射到FP树中的一条路径来构造。 构造FP树： 扫描数据库，得到频繁1-项集，并把项按支持度递减排序 再一次扫描数据库，建立FP-tree（遍历每一个事务，构造成一条路径，并给项计数） 生成条件模式： 从FP-tree的头表开始
3.3K10编辑于 2022-09-09 - 来自专栏数据科学与人工智能
【数据挖掘】数据挖掘工作总结
导读：很多人不明白学习数据挖掘以后干什么，这个问题也经常被问到。记得刚学数据挖掘的时候，有一个老师说学数据挖掘有什么用，你以后咋找工作。当时听了，觉得很诧异，不知道他为何有此一问。 数据挖掘在国外是一份很不错的工作。我喜欢数据挖掘，因为它很有趣。很高兴以后就从事这方面的工作啦。写论文之余，也考虑一下数据挖掘工程师的职业规划。 ? 以下是从网上找的一些相关资料介绍，和即将走上数据挖掘岗位或是想往这方面发展的朋友共享： 数据挖掘从业人员工作分析 1.数据挖掘从业人员的愿景： 数据挖掘就业的途径从我看来有以下几种，(注意：本文所说的数据挖掘不包括数据仓库或数据库管理员的角色 从这个方面切入数据挖掘领域的话你需要学习《数理统计》、《概率论》、《统计学习基础：数据挖掘、推理与预测》、《金融数据挖掘》,《业务建模与数据挖掘》、《数据挖掘实践 》等，当然也少不了你使用的工具的对应说明书了 据国外专家预测，在今后的5—10年内，随着数据量的日益积累以及计算机的广泛应用，数据挖掘将在中国形成一个产业。
1.8K60发布于 2018-02-27 - 来自专栏数据科学与人工智能
【数据挖掘】数据挖掘 特异群组挖掘的框架与应用
特异群组挖掘、聚类和异常检测都是根据数据对象间的相似程度来划分数据对象的数据挖掘任务，但它们在问题定义、算法设计和应用效果上存在差异[5]。 5 、特异群组挖掘应用 行为数据反映了人类的各种行为方式，这些行为通常是个体对象主动的行为（如股票交易、看病就医、通勤出行、购物等），一般情况下，行为对象具有个体性。 图5是特异群组挖掘算法在上海市医保基金风险防控中的应用展示。 图6 公安系统跟车行为检测 （4）电子商务交易中的信誉欺诈挖掘 大多数在线交易平台（如eBay.com和Taobao.com）都已建立交易双方的信用评分系统。 发现这些可疑账户将为交易平台信誉欺诈检测提供帮助。 （5）社会网络中的小群体发现 Leskovec等人发现社会网络中，社区变得越大，社区成员的交流却开始变得更少[23]。
2.1K100发布于 2018-02-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号