- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据科学与人工智能
【数据挖掘】数据挖掘模型的9条经验总结
当前的数据挖掘形式，是在20世纪90年代实践领域诞生的，是在集成数据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于 实践而非 理论，在其过程的理解上不太引人注意。 没有业务目标，没有数据挖掘(不管这种表述是否清楚)。因此这个准则也可以说成：数据挖掘是业务过程。 第二，知识律：业务知识是数据挖掘过程每一步的核心 这里定义了数据挖掘过程的一个关键特征。 第三，准备律：数据预处理比数据挖掘其他任何一个过程都重要 这是数据挖掘著名的格言，数据挖掘项目中最费力的事是数据获取和预处理。非正式估计，其占用项目的时间为50%-80%。 数据预处理的目的是把数据挖掘问题转化为格式化的数据，使得分析技术(如数据挖掘算法)更容易利用它。 有五种因素说明试验对于寻找数据挖掘解决方案是必要的： 数据挖掘项目的业务目标定义了兴趣范围(定义域)，数据挖掘目标反映了这一点; 与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的
82690发布于 2018-02-27 - 来自专栏钱塘大数据
【盘点】数据挖掘与数据建模的9条定律
当前的数据挖掘形式，是在20世纪90年代实践领域诞生的，是在集成数据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于实践而非理论，在其过程的理解上不太引人注意。 没有业务目标，没有数据挖掘（不管这种表述是否清楚）。因此这个准则也可以说成：数据挖掘是业务过程。 第二，知识律：业务知识是数据挖掘过程每一步的核心。 这里定义了数据挖掘过程的一个关键特征。 有五种因素说明试验对于寻找数据挖掘解决方案是必要的： 数据挖掘项目的业务目标定义了兴趣范围（定义域），数据挖掘目标反映了这一点； 与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的 Watkins的通用律解释如下： 数据挖掘项目的业务目标定义了兴趣范围（定义域），数据挖掘目标反映了这一点； 与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的； 第六，洞察律：数据挖掘增大对业务的认知。 数据挖掘是如何产生洞察力的？这个定律接近了数据挖掘的核心：为什么数据挖掘必须是一个业务过程而不是一个技术过程。业务问题是由人而非算法解决的。
58470发布于 2018-03-02 - 来自专栏数据科学与人工智能
数据挖掘模型的9条经验总结
当前的数据挖掘形式，是在20世纪90年代实践领域诞生的，是在集成数据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于实践而非 理论，在其过程的理解上不太引人注意。 没有业务目标，没有数据挖掘（不管这种表述是否清楚）。因此这个准则也可以说成：数据挖掘是业务过程。 第二，知识律：业务知识是数据挖掘过程每一步的核心。 这里定义了数据挖掘过程的一个关键特征。 数据预处理的目的是把数据挖掘问题转化为格式化的数据，使得分析技术（如数据挖掘算法）更容易利用它。 有五种因素说明试验对于寻找数据挖掘解决方案是必要的： 数据挖掘项目的业务目标定义了兴趣范围（定义域），数据挖掘目标反映了这一点； 与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的 数据挖掘过程以现在的形式存在是因为技术的发展—-机器学习算法的普及以及综合其它技术集成这些算法的平台的发展，使得商业用户易于接受。我们是否应该期望因技术的改变而改变数据挖掘过程？
78360发布于 2018-02-26 - 来自专栏PPV课数据科学社区
数据挖掘模型的9条经验总结
第一，目标律：业务目标是所有数据解决方案的源头 它定义了数据挖掘的主题：数据挖掘关注解决业务业问题和实现业务目标。数据挖掘主要不是一种技术，而是一个过程，业务目标是它的的核心。 没有业务目标，没有数据挖掘(不管这种表述是否清楚)。因此这个准则也可以说成：数据挖掘是业务过程。 第二，知识律：业务知识是数据挖掘过程每一步的核心 这里定义了数据挖掘过程的一个关键特征。 第三，准备律：数据预处理比数据挖掘其他任何一个过程都重要 这是数据挖掘著名的格言，数据挖掘项目中最费力的事是数据获取和预处理。非正式估计，其占用项目的时间为50%-80%。 数据预处理的目的是把数据挖掘问题转化为格式化的数据，使得分析技术(如数据挖掘算法)更容易利用它。 有五种因素说明试验对于寻找数据挖掘解决方案是必要的： 数据挖掘项目的业务目标定义了兴趣范围(定义域)，数据挖掘目标反映了这一点; 与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的
60260发布于 2018-04-25 - 来自专栏测试开发干货
数据工厂平台9： 首页的数据关联
本节课继续来搞定首页的这个统计图的具体数据关联。 这里我们先要去想，数据的来源，数据来源在哪？当然是以后的各个工具的使用次数了。那么这个使用次数我们记载到哪里呢？ 所以我们决定，先把各种工具的使用次数放在一个专用的统计表中，这样我们首页去提取数据的速度会非常快，而且也便于之后这些统计数据另做他用等等。 我们先完成第一个箭头，在views.py中把数据从数据库拿出来。 接下来是具体的数据了， 这种时刻我们需要细心的去研究这个第三方统计图的数据在哪生效的才能去想办法修改。 ，js这个万能语言就可以大显身手了，我的前一个系列接口测试平台就全是js哦，也是为了给大家打好基础，拉高上限。
54310编辑于 2022-05-19 - 来自专栏搜狗测试
软件品质评测系统- 数据挖掘处理平台
软件品质评测体系建立之后，在进行评测之前首先要确定评测使用的数据，这就需要数据挖掘平台发挥作用了，本文将以输入法评测语料制作为例介绍我们的评测数据挖掘处理平台。 1 数据挖掘处理原则 全面性 使用场景 依照不同用户需要的打字环境的差别，结合当前使用频率较高的几种应用，尽可能全面地覆盖用户使用的打字场景，主要分为以下两个类别： 聊天场景：用户聊天的打字内容，例如 因此我们在挖掘用户打字行为时，除了满足普通打字需求的同时也设计了多种用户可能的行为，包括联想、组词、纠错、退格等。 清洗前的数据： ? 清洗后的数据： ? 数据分词 经过清洗后的数据，仍然是以大段的文章形式存储的，还不能直接拿来使用，需要使用特定的工具对其进行分词处理。 expect_cand": ""} //表示退格 {"pinyin": "#", "expect_cand": ""} //表示换行 ], "键盘类型":26 } 4结语 评测数据挖掘不是一成不变的
93020发布于 2020-07-16 - 来自专栏PPV课数据科学社区
【学习】数据挖掘与数据建模的9个经验之谈
当前的数据挖掘形式，是在20世纪90年代实践领域诞生的，是在集成数据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于实践而非 理论，在其过程的理解上不太引人注意。 没有业务目标，没有数据挖掘（不管这种表述是否清楚）。因此这个准则也可以说成：数据挖掘是业务过程。 第二，知识律：业务知识是数据挖掘过程每一步的核心。 这里定义了数据挖掘过程的一个关键特征。 数据预处理的目的是把数据挖掘问题转化为格式化的数据，使得分析技术（如数据挖掘算法）更容易利用它。 有五种因素说明试验对于寻找数据挖掘解决方案是必要的： · 数据挖掘项目的业务目标定义了兴趣范围（定义域），数据挖掘目标反映了这一点； · 与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的 数据挖掘过程以现在的形式存在是因为技术的发展----机器学习算法的普及以及综合其它技术集成这些算法的平台的发展，使得商业用户易于接受。我们是否应该期望因技术的改变而改变数据挖掘过程？
746110发布于 2018-04-19 - 来自专栏韩曙亮的移动开发专栏
【数据挖掘】数据挖掘总结 ( 数据挖掘相关概念 ) ★★
用于挖掘的数数据源 必须 真实 : ① 存在的真实数据 : 数据挖掘处理的数据一般是存在的真实数据 , 不是专门收集的数据 ; ② 数据收集 : 该工作不属于数据挖掘范畴 , 属于统计任务 ; 2 . 数据必须海量 : ① 少量数据处理 : 少量数据使用统计方法分析 , 不必使用数据挖掘 ; ② 海量数据 : 处理海量数据时 , 才使用数据挖掘 , 涉及到 有效存储 , 快速访问 , 合理表示 等方面的问题 未知结果 : ① 挖掘结果 : 数据挖掘 挖掘出的知识是未知的 , 目的是为了发掘潜在的知识 , 模式 ; 这些知识只能在特定环境下可以接收 , 可以理解 , 可以运用 ; ② 知识使用 : 数据挖掘出的知识只能在特定领域使用 , 如金融领域数据挖掘结果 , 只能在金融领域及相关领域使用 ; 参考博客 : 【数据挖掘】数据挖掘简介 ( 数据挖掘引入 | KDD 流程 | 数据源要求 | 技术特点 ) 二、 数据挖掘组件化思想 数据挖掘任务分类 : 根据数据挖掘的目标 , 可以将数据挖掘任务分为以下几类 : ① 模式挖掘 , ② 描述建模 , ③ 预测建模 ; 描述建模 和 预测建模 又称为 模型挖掘 ; ① 模式挖掘 : 如
5.3K00编辑于 2023-03-28 - 来自专栏数据科学与人工智能
【数据挖掘】图数据挖掘
那么图数据挖掘是干什么的呢？难道是开着挖掘机来进行挖掘？还是扛着锄头？下面讲讲什么是图数据挖掘。 一、什么是图数据挖掘 这个话题感觉比较沉重，以至于我敲打每个字都要犹豫半天，这里我说说我对图数据挖掘的理解。数据是一个不可数名字，那么说明数据是一个没有边界的东西。 那么不难理解，数据挖掘就是挖掘数据里面的“宝贝”，图数据挖掘，就是以图的结构来存储、展示、思考数据，以达到挖掘出其中的“宝贝”。那这个“宝贝”是什么？ 那么对这个图进行关系挖掘，那么会产生很多有用的数据，比如可以推荐你可能认识的人，那就是朋友的朋友，甚至更深，这就形成了某空间好友推荐的功能。比如某宝的你可能喜欢的宝贝，可以通过图数据挖掘来实现。 这就是我认为的图数据挖掘。 从学术上讲，图数据挖掘分为数据图，模式图两种。至于这两个类型的区别，由于很久没有关注这块，所以只能给出一个字面意义上的区别。
3.3K81发布于 2018-02-27 - 来自专栏智能大数据分析
数据仓库作业六：第9章 分类规则挖掘
第9章 分类规则挖掘 第一题 1、设网球俱乐部有打球与气候条件的历史统计数据如下表1所示。 对于样本中的每个数据对象，将其表示为一个向量，其中每个分量对应于一个条件属性。然后，使用欧氏距离计算每对数据对象之间的相异度。 1)^2 + (p_2 - q_2)^2 + (p_3 - q_3)^2 + (p_4 - q_4)^2} 其中，( \mathbf{p} ) 表示后天天气情况，( \mathbf{q} ) 表示样本数据中的每个数据对象 第三题 3、设网球俱乐部有打网球与气候条件的历史统计数据(如下表3)。 根据样本数据， P_Y=\frac{9}{14},P_N=\frac{5}{14} ，因此： H(D)=-\left(\frac{9}{14}\log_2\frac{9}{14}+\frac{5}{14
29600编辑于 2025-01-22 - 来自专栏CDA数据分析师
数据挖掘与数据建模的9大定律（深度长文 收藏细读！）
当前的数据挖掘形式，是在20世纪90年代实践领域诞生的，是在集成数据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于实践而非理论，在其过程的理解上不太引人注意。 没有业务目标，没有数据挖掘（不管这种表述是否清楚）。因此这个准则也可以说成：数据挖掘是业务过程。 2 知识律：业务知识是数据挖掘过程每一步的核心。 这里定义了数据挖掘过程的一个关键特征。 有五种因素说明试验对于寻找数据挖掘解决方案是必要的： 数据挖掘项目的业务目标定义了兴趣范围（定义域），数据挖掘目标反映了这一点； 与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的 数据挖掘者应该在模型不损害业务理解和适应业务问题的情况下关注预测准确度、模型稳定性以及其它的技术度量。 9 变化律：所有的模式因业务变化而变化。 数据挖掘发现的模式不是永远不变的。 数据挖掘过程以现在的形式存在是因为技术的发展—-机器学习算法的普及以及综合其它技术集成这些算法的平台的发展，使得商业用户易于接受。我们是否应该期望因技术的改变而改变数据挖掘过程？
1.8K50发布于 2018-02-11 - 来自专栏韩曙亮的移动开发专栏
【数据挖掘】数据挖掘简介 ( 6 个常用功能 | 数据挖掘结果判断 | 数据挖掘学习框架 | 数据挖掘分类 )
数据挖掘 功能 II . 数据挖掘 结果判断 III . 数据挖掘 学习框架 IV . 数据挖掘 分类 I . 数据挖掘 功能 ---- 1 . 数据挖掘 结果判断 ---- 数据挖掘结果判断 : 数据挖掘得出的 知识 / 模式 , 如何判断得出的结果是否有效 ; ① 客观判断方法 : 通过科学计算进行判断是否正确 , 该计算基于 模式 的t 统计和结构 数据挖掘 学习框架 ---- 1 . 数据挖掘技术 ( 重点 ) : 聚类分析 , 异常检测 , 分类 , 关联规则分析 , 序列模式分析 , 数据方体与数据仓库 ; 2 . 数据挖掘应用 : CRM , 搜索分析 , 网络安全 , 生物信息分析 … IV . 数据挖掘 分类 ---- 1 . : 时间数据 , 空间数据 , 文本数据 , 音视频多媒体数据 , WEB 数据 等类型的数据挖掘 ; 2 .
1.6K20编辑于 2023-03-27 生信技能树Day9 GEO数据挖掘 差异分析
差异分析表格二分组数据差异分析#差异分析 limmalibrary(limma)design = model.matrix(~Group) # 生成模型矩阵fit = lmFit(exp,design) fit = eBayes(fit)deg = topTable(fit,coef = 2,number = Inf)分组多代码更复杂为deg数据框添加几列1.加probe_id列，把行名变成一列library annotation_col=annotation_col, breaks = seq(-3,3,length.out = 100)) 重要的是学会画图思路，先找到示例代码，根据自己的数据和需求修改 先把示例数据跑通，再把自己的数据改成示例数据的格式，最后修改参数。 ggthemes)library(org.Hs.eg.db)library(dplyr)library(ggplot2)library(stringr)library(enrichplot)(1)输入数据
70611编辑于 2024-04-21- 来自专栏大大的小数据
泰迪TIPM开源数据挖掘建模平台测试2021.9.14
1、http://python.tipdm.org/ 2、 3、 4、 5、 6、 7、看不到数据 8、 查看报告
29630编辑于 2022-09-22 - 来自专栏韩曙亮的移动开发专栏
【数据挖掘】数据挖掘总结 ( 数据挖掘特点 | 数据挖掘组件化思想 | 决策树模型 ) ★
文章目录 一、 数据挖掘特点 二、 数据挖掘组件化思想 三、 决策树模型 1、 决策树模型创建 2、 树根属性选择 一、 数据挖掘特点 ---- 1 . 用于挖掘的数数据源 必须 真实 : ① 存在的真实数据 : 数据挖掘处理的数据一般是存在的真实数据 , 不是专门收集的数据 ; ② 数据收集 : 该工作不属于数据挖掘范畴 , 属于统计任务 ; 2 . 数据必须海量 : ① 少量数据处理 : 少量数据使用统计方法分析 , 不必使用数据挖掘 ; ② 海量数据 : 处理海量数据时 , 才使用数据挖掘 , 涉及到 有效存储 , 快速访问 , 合理表示 等方面的问题 , 如金融领域数据挖掘结果 , 只能在金融领域及相关领域使用 ; 参考博客 : 【数据挖掘】数据挖掘简介 ( 数据挖掘引入 | KDD 流程 | 数据源要求 | 技术特点 ) 二、 数据挖掘组件化思想 数据挖掘任务分类 : 根据数据挖掘的目标 , 可以将数据挖掘任务分为以下几类 : ① 模式挖掘 , ② 描述建模 , ③ 预测建模 ; 描述建模 和 预测建模 又称为 模型挖掘 ; ① 模式挖掘 : 如
1.4K00编辑于 2023-03-28 - 来自专栏数据科学与人工智能
【数据挖掘】数据挖掘#商业智能（BI）数据分析挖掘概念
数据挖掘目前在各类企业和机构中蓬勃发展。因此我们制作了一份此领域常见术语总结，希望你喜欢。 大数据（Big Data）: 大数据既是一个被滥用的流行语，也是一个当今社会的真实趋势。此术语指代总量与日俱增的数据，这些数据每天都在被捕获、处理、汇集、储存、分析。 机器学习（Machine Learning）: 一个学科，研究从数据中自动学习，以便计算机能根据它们收到的反馈调整自身运行。与人工智能、数据挖掘、统计方法关系密切。 文本挖掘（Text Mining）: 对包含自然语言的数据的分析。对源数据中词语和短语进行统计计算，以便用数学术语表达文本结构，之后用传统数据挖掘技术分析文本结构。 网络挖掘/网络数据挖掘（Web Mining / Web Data Mining) : 使用数据挖掘技术从互联网站点、文档或服务中自动发现和提取信息。
3.2K90发布于 2018-02-27 - 来自专栏数据科学与人工智能
【数据挖掘】大数据知识之数据挖掘
从市场需求及应用的角度来看，通过对大数据的存储、挖掘和分析，大数据在管理、营销、数据标准化等领域大有可为，促使管理/服务水平提升、营销方式改进等。下面我们就来讲讲数据挖掘的那些事。 目前在数据挖掘中，最常使用的两种神经网络是BP网络和RBF网络 不过，由于人工神经网络还是一个新兴学科，一些重要的理论问题尚未解决。 5规则归纳 规则归纳相对来讲是数据挖掘特有的技术。 它指的是在大型数据库或数据仓库中搜索和挖掘以往不知道的规则和规律，这大致包括以下几种形式：IF … THEN … 6可视化技术 可视化技术是数据挖掘不可忽视的辅助技术。 数据挖掘通常会涉及较复杂的数学方法和信息技术，为了方便用户理解和使用这类技术，必须借助图形、图象、动画等手段形象地指导操作、引导挖掘和表达结果等，否则很难推广普及数据挖掘技术。 至于数据挖掘的未来，让我们拭目以待。
2K90发布于 2018-02-26 - 来自专栏数据科学与人工智能
【数据挖掘】系统地学习数据挖掘
●什么是数据挖掘？ ●怎么培养数据分析的能力？ ●如何成为一名数据科学家？ 磨刀不误砍柴工。在学习数据挖掘之前应该明白几点： ●数据挖掘目前在中国的尚未流行开，犹如屠龙之技。 ●数据初期的准备通常占整个数据挖掘项目工作量的70%左右。 ●数据挖掘本身融合了统计学、数据库和机器学习等学科，并不是新的技术。 ●数据挖掘技术更适合业务人员学习（相比技术人员学习业务来的更高效） ●数据挖掘适用于传统的BI（报表、OLAP等）无法支持的领域。 ●数据挖掘项目通常需要重复一些毫无技术含量的工作。 ●经典图书推荐：《概率论与数理统计》、《统计学》推荐David Freedman版、《业务建模与数据挖掘》、《数据挖掘导论》、《SAS编程与数据挖掘商业案例》、《Clementine数据挖掘方法及应用 ●可以尝试改进一些主流算法使其更加快速高效，例如实现Hadoop平台下的SVM云算法调用平台--web 工程调用hadoop集群。 ●需要广而深的阅读世界著名会议论文跟踪热点技术。
1.6K50发布于 2018-02-27 - 来自专栏数据科学与人工智能
【数据挖掘】常用的数据挖掘方法
数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程 利用数据挖掘进行数据分析常用的方法主要有分类 、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等， 它们分别从不同的角度对数据进行挖掘。 在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据 意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。 ⑦ Web页挖掘。 随着Internet的迅速发展及Web 的全球普及， 使得Web上的信息量无比丰富，通过对Web的挖掘，可以利用Web 的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息
3.2K60发布于 2018-02-27 - 来自专栏全栈程序员必看
数据挖掘——关联规则挖掘
《数据挖掘》国防科技大学 《数据挖掘》青岛大学 数据挖掘之关联规则挖掘 关联规则挖掘（Association Rule Mining）最早是由Agrawal等人提出。 形式化描述 • 关联规则挖掘的交易数据集记为D • D ＝｛T1，T2，…，Tk，…,Tn｝，Tk（k＝1,2,…，n）称为交易，每个交易有唯一的标识，记作TID。 基本概念 挖掘关联规则 在给定一个交易数据集D上，挖掘关联规则问题就是产生支持度和置信度分别大于等于用户给定的最小支持度阈值和最小置信度阈值的关联规则。 FP树是一种输入数据的压缩表示，它通过逐个读入事务，并把每个事务映射到FP树中的一条路径来构造。 构造FP树： 扫描数据库，得到频繁1-项集，并把项按支持度递减排序 再一次扫描数据库，建立FP-tree（遍历每一个事务，构造成一条路径，并给项计数） 生成条件模式： 从FP-tree的头表开始
3.3K10编辑于 2022-09-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号