首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏数据科学与人工智能

    【数据挖掘】数据挖掘#商业智能(BI)数据分析挖掘概念

    数据挖掘目前在各类企业和机构中蓬勃发展。因此我们制作了一份此领域常见术语总结,希望你喜欢。 商业智能(Business Intelligence): 分析数据、展示信息以帮助企业的执行者、管理层、其他人员进行更有根据的商业决策的应用、设施、工具、过程。 与人工智能、数据挖掘、统计方法关系密切。 购物篮分析(Market Basket Analysis): 识别在交易中经常同时出现的商品组合或服务组合,例如经常被一起购买的产品。 文本挖掘(Text Mining): 对包含自然语言的数据的分析。对源数据中词语和短语进行统计计算,以便用数学术语表达文本结构,之后用传统数据挖掘技术分析文本结构。 网络挖掘/网络数据挖掘(Web Mining / Web Data Mining) : 使用数据挖掘技术从互联网站点、文档或服务中自动发现和提取信息。

    3.2K90发布于 2018-02-27
  • 来自专栏原创

    智能数据架构,挖掘增长金矿

    对很多技术团队来说,在搭建智能数据架构的过程中,或多或少会遇到一些疑惑和挑战,经过多次实践后,有些团队已经破除疑惑,成功探索出一条搭建智能数据架构之路,那么他们是如何实现这一技术的呢? 个推通过机器学习,构建了独有的冷、热、温标签,用以分析不同群体的基础属性和行为特征,描绘用户的精准画像,最终运用于智能推送和精准营销。 聚美优品大数据高级工程师 贺鹏《大数据3.0流计算与智能决策》 大数据3.0时期,Hadoop第一代、Spark内存计算第二代,早期流计算以及人工智能流计算同时并存。 流计算发展至今,已经具备了CEP这一强大功能,这也是支撑流计算智能化的关键因素所在。

    65720发布于 2019-03-12
  • 来自专栏全栈程序员必看

    人工智能万亿市场待挖掘

    4.人工智能生态格局展望:巨头与新贵共舞 4.1 人工智能将催生新一轮IT商业模式创新 自从PC互联网时代以来,到移动互联网,再到智能硬件时代,技术发展和商业模式创新一直处于相辅相成的状态中,一旦技术进步的红利被商业模式创新挖掘殆尽后 因此,通过数据挖掘和搜索算法对数据工厂中的知识库和信息库进行分类与关联的技术能力同样是人工智能企业的重要进入门槛。 舆情监测以中文信息处理技术和中文自然语言处理技术为基础,融合了信息检索、文本挖掘等研究技术,提供中文智能信息挖掘智能分析软件,具有对海量文本内容进行智能检索、智能分析及智能化自动处理的功能,可以解决海量信息的智能分析处理 未来语义识别将和文本挖掘、数据挖掘等技术结合,更多地应用在商业化的领域,发展空间巨大。 深度挖掘大数据形成对企业商业决策的有效支持是行业未来重要发展方向,拓尔思将以此形成自己独特的商业智能应用模式。

    2K20编辑于 2022-06-25
  • 黑马-人工智能与数据挖掘

    在高校毕业生就业形势复杂的今天,一个领域的相关人才却持续被企业高薪争抢,起薪远超许多传统行业,成为了名副其实的“职场黑马”——这就是人工智能与数据挖掘领域。 这就需要既懂数据挖掘技术,能“淘出真金”,又懂人工智能算法,能“点石成金”的复合型人才。市场上对这类人才的需求呈现爆炸式增长。 核心技术与工具:数据挖掘:精通数据清洗、预处理、特征工程,掌握聚类、分类、关联分析等经典算法。机器学习:深入理解监督学习、无监督学习、强化学习等模型原理与应用场景。 三、职业前景:一条广阔的上升通道选择AI与数据挖掘赛道,意味着选择了一条高成长性的职业路径。 结语:人工智能与数据挖掘作为一匹强劲的“黑马”,正奔驰在时代的最前沿。对于个人而言,它或许意味着一个充满挑战与机遇的职业新起点;对于社会而言,它则是推动产业升级、迈向智能未来的核心驱动力。

    35110编辑于 2025-09-12
  • 来自专栏智能大数据分析

    【机器学习 | 数据挖掘智能推荐算法

    智能大数据分析是指利用先进的技术和算法对大规模数据进行深入分析和挖掘,以提取有价值的信息和洞察。 它结合了大数据技术、人工智能(AI)、机器学习(ML)和数据挖掘等多种方法,旨在通过自动化的方式分析复杂数据集,发现潜在的价值和关联性,实现数据的自动化处理和分析,从而支持决策和优化业务流程。 与传统的人工分析相比,智能大数据分析具有自动化、深度挖掘、实时性和可视化等特点。智能大数据分析广泛应用于各个领域,包括金融服务、医疗健康、零售、市场营销等,帮助企业做出更为精准的决策,提升竞争力。 三、基于关联规则的智能推荐 关联规则可以挖掘出物品间的关联关系,物品间的关联性越强推荐给用户时越可能受用户喜欢,提取关联规则的最大困难在于当存在很多商品时,可能的商品的组合(规则的前项与后项)的数目会达到一种令人望而却步的程度 接着介绍了智能推荐几种常见的智能推荐算法,包括关联规则和协同过滤等,其中关联规则可以挖掘出物品间的关联关系,依据关联关系的强弱为用户推荐,常见的关联规则算法有Apriori和FP-Growth。

    97410编辑于 2025-01-22
  • 来自专栏数据科学与人工智能

    【金融数据】挖掘数据价值,打造智能银行

    第三层,从信息上升至知识,即知识发现层,在此层面,数据挖掘技术和人工智能至关重要,对整合的信息进行分解、提炼,从中找出有价值的信息点,实现信息到知识的转变。 结合国内外先进企业的大数据经验,民生银行围绕充分挖掘大数据价值,以“智能化、云端化、标准化、移动化”(“四化”)建设为主线,努力打造和提升大数据能力,积极推进全行的大数据战略。 “四化”建设纵贯数据获取与存储、数据整合、数据挖掘、数据应用整个大数据价值链,是一个影响深远的系统性工程。 大数据智能化 为进一步提升客户关系管理与服务水平,营造可持续发展的金融生态环境,切实提高全行对公业务的规划能力、营销能力、产品支持能力、风险管理能力、考核评价能力,民生银行建成智能管家平台,借助互联网思维和大数据分析挖掘工具 ,运用复杂网络科学、文本挖掘、购物篮分析等数据挖掘技术和力导向布局图、蜗牛图等数据可视化手段,构建了上下游客户推荐模型、智能产品推荐模型、交易网络模型,设计开发了客户推荐、产品推荐等功能,为客户经理、管理人员提供针对性

    1.4K50发布于 2018-02-27
  • 来自专栏PPV课数据科学社区

    数据挖掘人工智能使教育定制化

    自适应学习 这是从小学到大学整个教育体制的再造,McGraw-Hill教育正在开发数字课程,准备相关的课程资料,它从200万学生中收集信息,利用人工智能为每个学生创建自适应的学习体验。 DonorsChoose.org的数据科学家Vlad Dubovskiy说:“校长和管理人员可以对这些数据进行挖掘,及时了解学校教师的请求。” 是弗吉尼亚州高等教育委员会政策研究和数据仓库的负责人,他告诉我们:当大数据应用到教育领域时,“一切皆有可能”,作为弗吉尼亚州纵向数据系统(Longitudinal Data System)的一部分,委员会目前正在挖掘所有公共和非营利大学的学生数据

    88050发布于 2018-04-18
  • 来自专栏马一特

    数据分析与数据挖掘 - 03智能对话

    一 数据分析与自然语言处理 我们在处理很多数据分析任务时,不可避免地涉及到与文本内容相关的知识,这是属于文本挖掘(text mining)的内容,显然是NLP技术的范畴,基于这样的考虑我们先来对自然语言处理有一个基本的认识 二 自然语言处理 如果一台计算机能够欺骗人类,让人相信它是人类,那么该计算机就应当被认为是智能的。(阿兰.图灵) 机器能像我们人类一样理解文本吗?这是大家对人工智能最初的幻想。 如今,它已成为人工智能的核心领域——自然语言处理(简称:NLP)。 自然语言处理是一门融语言学、计算机科学、人工智能于一体的科学,人们把自然语言处理认为是人工智能的皇冠,它解决的是“让机器可以理解自然语言”——这一到目前为止都还只是人类独有的特权,因此,自然语言理解(NLU )被誉为人工智能皇冠上的明珠。

    94020发布于 2020-09-08
  • 来自专栏muller的测试分享

    人工智能,应该如何测试?(二)数据挖掘

    如果你面对的是一个人工智能平台,那么这些也就变成了测试对象。数据标注:我们面对的大部分都是监督学习,所谓监督学习,就是算法在学习这份数据的时候, 我们需要告诉算法这条数据的答案。 因为人工智能是在大数据的基础之上的, 我们可能要面对数以百万,千万甚至亿的数据量。 withColumn("uin", functions.abs(functions.col("uin").cast(DataTypes.LongType))) .toDF();其他挖掘方法其实挖掘数据没有太多的技术难点 yolov 过滤图片上次文章介绍 aigc 的测试方法时说过用 yolov + blip 可以组一些 bug 挖掘的工作。 我借鉴这个思路来做数据挖掘。 我们以上面的数据挖掘工具为例子来讲解一下一般模型微调的过程。

    46512编辑于 2024-04-07
  • 来自专栏AI SPPECH

    AI破解CTF:漏洞挖掘与利用的智能革命

    近年来,人工智能技术的突破为CTF竞赛带来了一场革命,AI辅助的漏洞挖掘与利用工具正在成为参赛队伍的秘密武器。 CTF比赛中的漏洞挖掘特点 CTF比赛中的漏洞挖掘与实际的网络安全漏洞挖掘有相似之处,但也有其独特的特点: 时间限制严格:CTF比赛通常有严格的时间限制,选手需要在有限的时间内快速发现和利用漏洞,这对漏洞挖掘的效率提出了很高的要求 AI技术在CTF漏洞挖掘中的优势 AI技术的引入为CTF漏洞挖掘带来了以下优势: 提高效率:AI可以自动化完成漏洞挖掘中的大量重复性工作,如代码审计、模糊测试等,大大提高漏洞挖掘的效率。 模糊测试(Fuzzing)优化 模糊测试是CTF漏洞挖掘的常用方法,AI技术可以显著优化模糊测试的效果: 智能测试用例生成:使用生成对抗网络(GAN)、强化学习(RL)等技术智能生成更可能触发漏洞的测试用例 代码演示:基于深度学习的自动化漏洞挖掘系统 下面提供一个基于深度学习的自动化漏洞挖掘系统的示例代码,帮助CTF选手快速实现AI辅助漏洞挖掘功能。

    59510编辑于 2025-11-13
  • 如何通过YashanDB实现企业数据的智能分析与挖掘

    随着企业信息系统的不断发展,海量数据的积累为智能分析与挖掘提供了强大基础。然而,传统数据库在处理大规模、高并发及复杂分析场景中常面临性能瓶颈和数据一致性挑战。 YashanDB作为一款新一代数据库系统,具备多样化的部署形态及丰富的核心技术组件,能够有效支持企业在智能分析与数据挖掘中的需求。 优化器采纳基于成本的优化(CBO)模型,结合统计信息如表行数、列数据分布和索引信息,智能生成最优执行计划。 结论YashanDB通过其多元部署方案、创新存储引擎设计和高效SQL执行框架,为企业智能分析与数据挖掘提供了坚实的技术支撑。其事务一致性、多版本并发控制及完善的数据管理机制,保证数据安全与准确性。 建议数据库管理员和开发人员深入理解YashanDB的体系架构及技术要点,并结合最佳实践应用于具体数据分析项目,以最大化挖掘数据价值并提升企业业务智能化水平。

    27610编辑于 2025-09-16
  • 来自专栏韩曙亮的移动开发专栏

    【数据挖掘】数据挖掘总结 ( 数据挖掘相关概念 ) ★★

    用于挖掘的数数据源 必须 真实 : ① 存在的真实数据 : 数据挖掘处理的数据一般是存在的真实数据 , 不是专门收集的数据 ; ② 数据收集 : 该工作不属于数据挖掘范畴 , 属于统计任务 ; 2 . 未知结果 : ① 挖掘结果 : 数据挖掘 挖掘出的知识是未知的 , 目的是为了发掘潜在的知识 , 模式 ; 这些知识只能在特定环境下可以接收 , 可以理解 , 可以运用 ; ② 知识使用 : 数据挖掘出的知识只能在特定领域使用 , 如金融领域数据挖掘结果 , 只能在金融领域及相关领域使用 ; 参考博客 : 【数据挖掘】数据挖掘简介 ( 数据挖掘引入 | KDD 流程 | 数据源要求 | 技术特点 ) 二、 数据挖掘组件化思想 数据挖掘任务分类 : 根据数据挖掘的目标 , 可以将数据挖掘任务分为以下几类 : ① 模式挖掘 , ② 描述建模 , ③ 预测建模 ; 描述建模 和 预测建模 又称为 模型挖掘 ; ① 模式挖掘 : 如 , 性能会很低 ; 确定 模型 / 模式 结构 和 评分函数 , 是人来完成 , 优化评分函数的过程是计算机完成 ; 参考博客 : 【数据挖掘】数据挖掘算法 组件化思想 ( 模型或模式结构 | 数据挖掘任务

    5.3K00编辑于 2023-03-28
  • 来自专栏数据科学与人工智能

    【数据挖掘】图数据挖掘

    那么图数据挖掘是干什么的呢?难道是开着挖掘机来进行挖掘?还是扛着锄头?下面讲讲什么是图数据挖掘。 一、什么是图数据挖掘 这个话题感觉比较沉重,以至于我敲打每个字都要犹豫半天,这里我说说我对图数据挖掘的理解。数据是一个不可数名字,那么说明数据是一个没有边界的东西。 而挖掘是一个很形象化的动词,一般意义上,挖掘挖掘出对我们有用的东西,不然也不会闲着没事刨个坑把自己放进去,肯定是里面有宝贝,我们才挖掘。 那么不难理解,数据挖掘就是挖掘数据里面的“宝贝”,图数据挖掘,就是以图的结构来存储、展示、思考数据,以达到挖掘出其中的“宝贝”。那这个“宝贝”是什么? 这就是我认为的图数据挖掘。 从学术上讲,图数据挖掘分为数据图,模式图两种。至于这两个类型的区别,由于很久没有关注这块,所以只能给出一个字面意义上的区别。

    3.3K81发布于 2018-02-27
  • 来自专栏全栈程序员必看

    数据挖掘——关联规则挖掘

    《数据挖掘》国防科技大学 《数据挖掘》青岛大学 数据挖掘之关联规则挖掘 关联规则挖掘(Association Rule Mining)最早是由Agrawal等人提出。 形式化描述 • 关联规则挖掘的交易数据集记为D • D ={T1,T2,…,Tk,…,Tn},Tk(k=1,2,…,n)称为交易,每个交易有唯一的标识,记作TID。 基本概念 挖掘关联规则 在给定一个交易数据集D上,挖掘关联规则问题就是产生支持度和置信度分别大于等于用户给定的最小支持度阈值和最小置信度阈值的关联规则。 列出能够到达此项的所有前缀路径,得到条件模式基 递归生成FP树: 对每个模式库,计算库中每个项的支持度,用模式库中的频繁项建立FP-tree 优点: 完备性:不会打破交易中的任何模式,包含了频繁模式挖掘所需的全部信息

    3.2K10编辑于 2022-09-09
  • 来自专栏python与大数据分析

    关于《Python数据挖掘入门与实战》读书笔记一(数据挖掘、机器学习、深度学习、人工智能

    现在数据挖掘、机器学习、深度学习、人工智能俨然已经成为后大数据时代的重要方向了,原来的数据挖掘好像已日暮西山,被机器学习替代掉了,在机器学习之上又多了个深度学习,深度学习好像更多的是基于GPU的,神经网络是深度学习中的重要一环 ,人工智能也就是AI,偏向于类似机器人、无人驾驶之类的应用,当然这是我肤浅的理解。 它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。 人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

    60330编辑于 2022-03-11
  • 来自专栏BI工具

    商业智能BI应用的三个层次:报表、分析、挖掘

    而商业智能BI就是帮助企业将生产经营过程中的数据中隐藏的信息挖掘出来,辅助企业决策的智能化手段。 商业智能BI是先通过第一层的报表呈现,将很多业务运营情况直观的反映出来,让用户可以直观的看到在我们经验之外的数据表现情况。 3、高端层次:数据挖掘 数据挖掘是指一个从未经处理过的数据中提取信息的过程,重点是找到相关性和模式分析。它可以帮助企业预知未来发生的事情,预测和评估风险。 数据挖掘是针对的是海量复杂的数据,它是伴随着数据库理论,机器学习,人工智能,现代统计学的迅速发展而出现的一种新型交叉性的技术。 支持分类分析,关联分析,回归分析,聚类分析,时间序列预测等多样的算法,通过拖拽式操作就能轻松掌握数据挖掘,并提供科学的模型评估方法,根据评估结果智能的推荐最佳模型。

    2.1K53发布于 2020-09-23
  • 如何利用YashanDB数据库实现数据智能分析和挖掘

    然而,传统数据库技术往往存在性能瓶颈、数据一致性问题等挑战,难以满足智能分析和挖掘的需求。 YashanDB作为一款高性能、分布式的数据库解决方案,旨在通过其独特的体系架构和特性,帮助用户实现数据的智能分析和挖掘,进而促进业务决策和数据驱动的应用。 在本文中,将详细探讨YashanDB的架构和特性,以及如何有效利用其能力进行数据智能分析和挖掘的具体方法和技术要求。目标读者包括开发人员、数据分析师以及其他对数据智能分析感兴趣的技术人员。 资产及数据一致性控制YashanDB实现了ACID特性其实是智能分析与挖掘的重要基础。其多版本并发控制(MVCC)能够支持高并发环境下的数据处理,确保数据的一致性。 这在数据分析、挖掘的过程中,可以创建可靠的数据基础,避免因数据读取冲突而导致的分析结果偏差。利用YashanDB实现数据智能分析的具体方法1.

    13700编辑于 2025-07-16
  • 来自专栏海天一树

    人工智能、数据挖掘、机器学习和深度学习的关系

    人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能,但能像人那样思考、也有可能超过人的智能。 二、数据挖掘 数据挖掘(Data Mining),顾名思义就是从海量数据中“挖掘”隐藏信息,按照教科书的说法,这里的数据是“大量的、不完全的、有噪声的、模糊的、随机的实际应用数据”,信息指的是“隐含的、 所以,数据挖掘更偏向应用。 数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。 六、数据挖掘与机器学习的关系 数据挖掘主要利用机器学习界提供的技术来分析海量数据,利用数据库界提供的技术来管理海量数据。 ? 机器学习是数据挖掘的一种重要方法,但机器学习是另一门学科,并不从属于数据挖掘,二者相辅相成。

    2.3K70发布于 2018-04-17
  • 来自专栏数据科学与人工智能

    【数据挖掘】数据挖掘 特异群组挖掘的框架与应用

    特异群组挖掘在证券金融、医疗保险、智能交通、社会网络和生命科学研究等领域具有重要应用价值。 特异群组挖掘与聚类、异常挖掘都属于根据数据对象的相似性来划分数据集的数据挖掘任务,但是,特异群组挖掘在问题定义、算法设计和应用效果方面不同于聚类和异常等挖掘任务。 图1 大数据集里的特异群组 大数据特异群组挖掘具有广泛应用背景,在证券交易、智能交通、社会保险、生物医疗、银行金融和网络社区等领域都有应用需求,对发挥大数据在诸多领域的应用价值具有重要意义。 图5 医疗保险中的保费欺诈行为挖掘 (3)智能交通监控应用中的驾车犯罪团伙挖掘 以汽车为作案工具的犯罪案件中,一种常见的情况是多辆汽车共同参与作案。 作案车辆为熟悉作案地点和行程,通常会提前准备,在多天内共同出现在多个地点,随着智能交通技术的发展,这些信息都将由高清摄像头识别记录。

    2.1K100发布于 2018-02-27
  • 来自专栏韩曙亮的移动开发专栏

    【数据挖掘】数据挖掘简介 ( 6 个常用功能 | 数据挖掘结果判断 | 数据挖掘学习框架 | 数据挖掘分类 )

    数据挖掘 功能 II . 数据挖掘 结果判断 III . 数据挖掘 学习框架 IV . 数据挖掘 分类 I . 数据挖掘 功能 ---- 1 . 数据挖掘 结果判断 ---- 数据挖掘结果判断 : 数据挖掘得出的 知识 / 模式 , 如何判断得出的结果是否有效 ; ① 客观判断方法 : 通过科学计算进行判断是否正确 , 该计算基于 模式 的t 统计和结构 数据挖掘 学习框架 ---- 1 . 数据挖掘技术 ( 重点 ) : 聚类分析 , 异常检测 , 分类 , 关联规则分析 , 序列模式分析 , 数据方体与数据仓库 ; 2 . 数据挖掘原理 : 数据库技术 ( 索引 , 数据压缩 , 数据结构 ) , 人工智能 , 机器学习 , 统计学 , 信息论 , 理论计算 ( 近似 / 随机 算法 ) , 数学规划 , 几何计算 ; 3 数据挖掘应用 : CRM , 搜索分析 , 网络安全 , 生物信息分析 … IV . 数据挖掘 分类 ---- 1 .

    1.6K20编辑于 2023-03-27
领券