- 综合排序
- 最热优先
- 最新优先
- 来自专栏安全领域
物联网：数据淘金——从数据中挖掘有效信息
如今是信息时代，得数据者得天下。然而，只是“有”数据还不够，数据的“准确性”和数据的“分析”也是至关重要的。爱因斯坦也说过：“能用的不一定有用，有用的也不一定能用。” “数据”和“信息”不是一码事。 通过辅以机器的力量，我们可以全自动地从数据中淘金，让冰冷的数字变成感性的认知。“ 如何发现数据的内涵？ 物联网之前，分析传感器各式各样的海量数据非常困难。 通过物联网技术，我们可以把机器得到的数据放入数据池自动分析，以决定下一步需要对数据和程序做些什么。物联网不仅收集、分析数据，它还会自我提升。 “北向数据”是指从设备发出，通过网关，送至云端的数据，一般是遥测数据，也可能是命令和控制请求。 第二步：在网关这个临时节点上对数据进行一定量的分析，你可以在这处理数据（例如汇总数据，或者转换数据，为数据中心或云深入分析做好准备）。
1.2K90发布于 2018-04-17 - 来自专栏华章科技
日本麦当劳，用大数据来“淘金”
你我每天都生活在「数据之海」中，从个人浏览互联网、刷卡付账、移动支付到政府统计，点滴数据蕴藏无穷价值。麦当劳一直在实践中。 O2O闭环帮助日本麦当劳更好地采集用户行为数据，实现利益增长 从基础设施上来看，日本是全世界最适合发展O2O产业的国家之一。 有愈来愈多餐饮企业，追随日本麦当劳的脚步，在空前浩瀚的海量数据里掏金。 ? 大数据应用专家观点 2020年，全球资料量将达40ZB(相当于1兆GB)，约2015年的15倍。大数据商机，已经在爆发。 从数据分析、精准营销、与使用者互动，到完整打造自有生态体系，海量数据改写了营销的传统定义，更翻转了企业与消费者之间的关系。 美国国家广告商协会年度大会上，以「疯狂」来形容眼前的营销剧变。 转载大数据公众号文章请注明原文链接和作者，否则产生的任何版权纠纷与大数据无关。
1.7K20发布于 2018-08-14 - 来自专栏速入大数据
R语言数据挖掘：从“挖井”到“淘金”
R语言数据挖掘：从“挖井”到“淘金”在数据挖掘的世界里，很多人喜欢把它比作“淘金”。但我更愿意把它看成是“挖井”——只有深挖，才能找到清澈的数据源；只有细掘，才能汲取真正的价值。 而随着数据科学的发展，R的生态也越来越完善，涌现出了一大批优秀的开源包，使得数据挖掘变得更高效、更智能。 用R语言“掘金”数据数据挖掘的目标无非是从海量数据中发现规律，提取知识，进而指导决策。那么，如何用R语言高效挖掘数据呢？我们可以从以下几个关键步骤入手：1. 数据预处理——“开荒”数据的质量决定了挖掘的成败。现实世界中的数据往往是凌乱的，包含缺失值、异常值、重复项等问题，因此数据预处理是至关重要的一步。 模型评估与优化——“淘金”仅仅训练出一个模型还不够，数据挖掘的关键在于如何优化它，提高其稳定性和泛化能力。
30810编辑于 2025-05-08 - 来自专栏挖数
中国在全世界“淘金”
消息迅速传开，约30万人从世界各地涌来淘金，其中包括不少华人，原先加州几乎没有华人居民，到1852年，华人数量骤增至3万人。这些华人多来自广东的台山市。 台山华侨博物馆 如今，这段历史又重演，不同的是这回出外“淘金” 的是中国企业。 新能源企业作为新一代风口企业，被国家寄予厚望，可以说未来中国经济的稳步增长，离不开新能源企业的做大做强。 以下是全球锂矿资源最多的六个国家： 来自美国地质调查局（USGS）2019年的数据 我国锂矿储量在全球排第六位，仅是第一位 玻利维亚 的 1/5 左右，不仅如此，我国锂矿大多是提取难度大的盐湖锂，导致国内开采速度远远跟不上消耗速度 为保障锂资源自主可控，我国新能源企业开启新一轮 “淘金”- 在全世界寻找锂矿，购入外国矿场后，把锂矿石运回中国处理。
64920编辑于 2023-01-09 - 来自专栏PPV课数据科学社区
IBM谢国忠：大数据淘金—从大数据发现商业机会
2）如何扩充和获取新的数据来源（非结构化数据、外部数据和社交数据等）？ 所以，我今天报告的题目是：大数据淘金-从大数据发现商业机会。更多地偏向大数据应用模式和应用场景，而对技术细节不做详细讨论。 ? 我今天报告的内容主要分为三个部分：大数据概述、大数据在各行业的应用与实践、大数据演示（截屏）。 ? 第一部分：大数据概述 在讲述大数据之前，先让我们回顾一下计算机的发展历程。 如果我们将企业数据从两个维度来切分：数据类型和数据形态，那么企业的海量数据归纳成三类： 静态海量结构化数据 静态海量非结构化数据 动态海量流数据 这三类数据的结合，才形成企业统一的大数据环境 三个平台的组合，形成了大数据平台，那么就注定了大数据的架构是一个混搭的体系架构。大数据的架构逻辑上可分为：实时数据区、非结构化数据区、传统的数据仓库区、分析与报表区及统一的元数据与数据管控区。 而传统的企业，没有电商企业得天独厚的条件：同时拥有交互数据和交易数据。因此，传统企业大数据分析之路可从自有数据开始。 ?
2.7K50发布于 2018-04-20 - 来自专栏速入大数据
从数据海洋中“淘金”——数据挖掘的魔法与实践
从数据海洋中“淘金”——数据挖掘的魔法与实践在这个数据飞速膨胀的时代，每天产生的数据量可以用“天文数字”来形容。 如果将数据比作金矿，那么数据挖掘（Data Mining）就是在数据的海洋中挖掘黄金的技术。作为一门结合统计学、机器学习和数据库技术的交叉学科，数据挖掘正在各行各业中发挥着巨大的价值。 本文将通过通俗易懂的语言以及实际的代码示例，为大家介绍数据挖掘的核心技术和思考角度。一、数据挖掘是什么？简单来说，数据挖掘就是从庞大的数据集合中发现模式、关联和知识的过程。 这些看似“聪明”的功能背后，都有数据挖掘技术在默默工作。二、常用数据挖掘技术分类（Classification）： 用于将数据分成不同类别，比如将邮件分为“垃圾邮件”和“正常邮件”。 四、思考深度：数据挖掘的挑战和未来尽管数据挖掘技术非常强大，但我们也必须正视其面临的挑战：数据质量： 垃圾数据会直接影响挖掘结果，因此“清洗”数据是必不可少的步骤。
35810编辑于 2025-04-10 - 来自专栏速入大数据
数据挖掘：从数据堆里“淘金”，你的数据价值被挖掘了吗？
数据挖掘：从数据堆里“淘金”，你的数据价值被挖掘了吗？在这个数据爆炸的时代，我们每天都在产生海量信息：社交媒体上的点赞、网购时的浏览记录，甚至是健身手环记录下的步数。 这些数据本身可能看似杂乱无章，但如果能够通过数据挖掘技术进行深入分析，它们就能揭示隐藏在数据背后的商业价值和社会趋势。那么，数据挖掘到底是什么？它又是如何做到“点石成金”的？一、数据挖掘到底是什么？ 步骤 1：数据准备数据是数据挖掘的基础，通常我们会使用 Pandas 处理数据：import pandas as pd# 读取用户购物数据data = pd.read_csv("shopping_data.csv ")# 查看数据结构print(data.head())这一步的目标是清理数据，处理缺失值，并确保数据质量。 四、数据挖掘的挑战当然，数据挖掘并不是万能的，它仍然存在很多挑战：数据质量问题：数据不完整、不规范会影响模型效果；数据隐私问题：数据挖掘容易涉及用户隐私，必须合理使用数据；算法选择问题：不同业务场景需要不同的算法
30410编辑于 2025-05-20 - 来自专栏大数据文摘
【深度】淘金大数据：航空工业催生万亿商机
淘金大数据 航空业与生俱来拥有大数据基因，由上百万个零件、数十种系统构成的飞机，通过传感器获得超过千兆字节数据，只是过去很多年，其利用率只有10%。 GE航空工程部中国区总经理王鹏告诉《21CBR》记者，“二三十年前，GE就开始提供第一代发动机状态监控服务，需要飞行员手工记录发动机数据，到后来机载设备自动记录数据，到现在飞机在飞行中发送实时数据，进行发动机实时远程故障诊断 而现在GE推广的是基于大数据的飞行和维修分析服务，分析的是全程的飞行数据。这能帮助数据分析专家和发动机专家更全面地了解飞行员的操作情况和飞行全过程的发动机工作状态。 事实上，航空大数据已经为GE优化发动机设计提供决策。 目前已累积超过6亿飞行小时的全球地形和障碍物数据的EGPWS数据库，每月都会从各大航空公司、空管局、政府和一些数据服务商那里更新数据，以便提供更精准的服务。 告别黑匣子？
80960发布于 2018-05-23 - 来自专栏数据猿
数据宝藏“淘金热”，腾讯云大数据愿做“卖铲人”
截至目前，腾讯云大数据的算力规模已经突破千万核，日实时计算量达百万亿级、日运行容器数超亿级，并且形成了从底层大数据计算引擎，中层数据治理，及上层丰富业务数据应用的全体系大数据产品矩阵。 （腾讯云大数据全景图，来源：腾讯云大数据） 以云原生算力资源与存储资源为基础，腾讯云大数据产品矩阵可以分成三大层次：大数据基础引擎、数据开发与治理平台、数据应用与可视化，其上则是联合优秀的生态合作伙伴深度打造的行业场景解决方案 中层的一站式数据开发治理平台 WeData ，融合了全链路DataOps数据开发能力，以及数据地图、数据质量、数据安全等一系列数据治理和运营能力，帮助企业在数据构建与应用过程中提高数据开发效率，提升数据质量 在面向政务、金融等行业的私有云场景，TBDS则是基于腾讯多年海量数据处理经验，整合腾讯内部大数据技术能力，将云端大数据产品能力完全复刻，面向数据全生命周期的企业级大数据云平台。 客户可以借助 TBDS ，根据不同数据处理需求选择合适的大数据分析引擎和相应的数据开发治理工具，构建数据仓库、用户画像、精准推荐、风险管控等大数据应用服务。
99520编辑于 2022-12-12 - 来自专栏用户5909132的专栏
【CLS数据淘金第五期】 云产品 CLB 日志抽样，独家发布
「CLS数据淘金第一期」介绍过 CLB 两大主要场景：运维监控场景与运营统计场景；本期我们将对运维监控场景做进一步的补充，并将重磅推出腾讯云 CLB 日志降本增效的独家利器 - CLB 日志抽样。 CLB 访问日志中针对每一条访问记录提供以下了多种耗时数据： 我们也可以从以下拓扑图进一步理解这些耗时数据： 基于以上图片， CLB访问日志中记录的不同耗时数据分别代表： request_time： 通常如果 bigsize_time 过高， 大概率是 GET 请求的数据量较大，导致较高的传输与处理耗时。 往期推荐： 【CLS 数据淘金第一期】CLB 日志可视化分析大洞察 【CLS数据淘金第二期】云原生日志服务之 TKE 运维指北 【CLS数据淘金第三期】CDN访问日志质量分析 【CLS数据淘金第四期】
45430编辑于 2023-03-30 - 来自专栏【腾讯云开发者】
【CLS数据淘金第三期】CDN访问日志质量分析
欢迎关注「腾讯云开发者」，期待你的「在看」哦～👇
45120编辑于 2022-11-04 内存淘金术：Redis 内存满了怎么办？
欢迎来到我的博客，代码的世界里，每一行都是一个故事 内存淘金术：Redis 内存满了怎么办？ 前言 在 Redis 的世界中，内存是宝贵的资源，但也是有限的。 具体实现方式是维护一个访问顺序的数据结构，当一个数据被访问时，将其移到数据结构的末尾，表示最近使用过。当需要淘汰数据时，从数据结构的开头选择最久未被访问的数据进行淘汰。 具体实现方式是维护一个访问频率计数器，每当一个数据被访问时，对应的频率计数器就会增加。当需要淘汰数据时，选择访问频率最低的数据进行淘汰。 定期淘汰策略 定期淘汰策略： 定期淘汰策略涉及定期扫描数据库，根据一定规则淘汰数据，以确保缓存中的数据始终保持最新。这种策略可以根据一些规则，如过期时间、访问时间等，来判断哪些数据应该被淘汰。 淘汰导致的数据不一致： 问题： 淘汰操作导致缓存中的数据与底层数据源不一致。 解决方案： 采用合适的淘汰策略，避免淘汰频繁使用的数据，或者在淘汰后及时从底层数据源重新加载数据。
53610编辑于 2025-05-30- 来自专栏日志服务CLS
【CLS数据淘金第三期】CDN访问日志质量分析
导语：内容分发网络（Content Delivery Network， CDN），全球加速节点超过2800+，覆盖三大运营商及50+家中小运营商，为用户内容加速与安全提供全方位的解决方案。 当前腾讯云日志服务（Cloud Log Service，CLS）与内容分发网络 CDN 已打通，基于腾讯云日志服务，通过对 CDN 访问日志的分析， 用户可以快速发现与定位内容分发网络中出现的访问错误与访问延时等质量问题。
58620编辑于 2022-11-02 - 来自专栏量化投资与机器学习
淘金『因子日历』：因子筛选与机器学习
2、本文主要测试了机器学习类的非线性模型所需的因子筛选指标，推荐使用 Cramer'V 和互信息，它们都能捕捉非线性关系；虽然因子和收益都是连续型变量，但也可以将它们离散化后再做测试，特别是因子尾部数据与收益的关系 ，极端数据往往有更强的预测能力。 步处理都在横截面上操作，第 4 步标准化处理可进行横截面或跨横截面操作； ▪ 测试频率：月频，特征为因子值，标签为股票下个月收益率； ▪ 有 2 种滚动测试的样本划分：① 横截面测试：以每个月末 t 横截面对应的行数据为样本 ，进行滚动测试；② 跨横截面测试：模拟模型滚动训练时时间窗的划分，在每个月末 t ，回溯过去 24 个月（包含当前月），以这个时间区间上的行数据为样本，进行滚动测试； ▪ 因子预处理：提前剔除了缺失率高的因子
2.2K23编辑于 2023-04-20 - 来自专栏日志服务CLS
【CLS数据淘金第五期】 云产品 CLB 日志抽样，独家发布
「CLS数据淘金第一期」介绍过 CLB 两大主要场景：运维监控场景与运营统计场景；本期我们将对运维监控场景做进一步的补充，并将重磅推出腾讯云 CLB 日志降本增效的独家利器 - CLB 日志抽样。 CLB 访问日志中针对每一条访问记录提供以下了多种耗时数据：图片我们也可以从以下拓扑图进一步理解这些耗时数据：图片基于以上图片， CLB访问日志中记录的不同耗时数据分别代表：request_time：编号 通常如果 bigsize_time 过高， 大概率是 GET 请求的数据量较大，导致较高的传输与处理耗时。 图片往期推荐：【CLS 数据淘金第一期】CLB 日志可视化分析大洞察【CLS数据淘金第二期】云原生日志服务之 TKE 运维指北【CLS数据淘金第三期】CDN访问日志质量分析【CLS数据淘金第四期】网络流日志
34410编辑于 2023-05-06 - 来自专栏日志服务CLS
【CLS数据淘金第四期】网络流日志-云联网日志分析
导语云联网（Cloud Connect Network，CCN）云联网覆盖全球 20+ 地域，提供云上私有网络间（VPC）、VPC 与本地数据中心间（IDC）内网互联的服务，具备全网多点互联、路由自学习 图片往期文章：【CLS数据淘金第三期】CDN访问日志质量分析【CLS数据淘金第二期】云原生日志服务之 TKE 运维指北【CLS 数据淘金第一期】负载均衡 CLB 日志可视化分析大洞察
1.3K50编辑于 2022-11-14 - 来自专栏新智元
AI 淘金热 | 机器学习创业机会在哪里？
机器学习淘金热正在到来！Libby Kinsey 是 Nesta 资本的投资经理，关注技术创新已经有 12 年。 她根据自己的观察，总结出这波淘金热的创业机会，其中包括硬件、算法、数据、行业、情感、安全等各领域分析。 Libby Kinsey：机器学习和人工智能技术正快速进入到数据驱动的业务中，变得无所不在。 铁镐和铁锹策略 在加利福尼亚州的淘金热中，卖铁锹的人先富起来了，而机器学习的铁镐和铁锹（Pick and Shovel）会是硬件、数据输入以及算法等。 数据一直就像低悬的水果（跳一跳就能摘到），例如社会和经济数据，但是在那些很难获得和很难进行标签的数据，依然有很多机会。 面部表情的情感数据集就在这个类别中，还有 Pallas Ludens 的端对端注释服务，Opensensors.io 给公开来源的传感数据增加权重。 基因组和医疗图像的数据呢？这让位于棘手的隐私问题。
1.2K60发布于 2018-03-13 - 来自专栏罗超频道
从淘金到炼金，“技术+”在营销中扮演什么角色？
营销业不再是淘金，而是炼金。技术+，就是炼金的方法。 每年底，人们都会说“寒冬”这个话题，2019年尤甚，广告行业与经济大环境直接相关，因此很早就有人提出了广告行业“增长寒冬”的话题。 只不过，淘金时代结束了，炼金时代开启。 不只是VC行业，广告业何尝不是如此。营销本身跟淘金很像。在流量红利时期，广告主在开展营销活动时，很容易从充沛的注意力大盘中淘到金子。 今天淘金已经越来越难，到新地方利用新工具、新技术和新方法炼金成为大的方向，广告行业又该如何炼金呢？巨量引擎给出的答案是：技术+。 技术+ROI让营销变得更加弹性，就像电商平台基于C2M实现弹性制造一样，底层都是数据。巨量引擎的技术+ROI实践是，让客户将广告相关数据传给平台，在确保数据安全时应用机器学习进行最优投放决策。 总之，营销业不再是淘金，而是炼金，技术+，就是炼金的方法。 2、对科技行业是顺势而为。 此时此刻，巨量引擎提出“技术+”，也是一种顺势而为。
61321发布于 2019-12-17 - 来自专栏Alter聊科技
自动驾驶淘金赛，Apollo被聚焦的底层逻辑
Apollo并非只是在进行自动驾驶技术的研发，也不是一个不着边际的造梦者，而是有着系统性的深入思考和全面布局，并在循序渐进的进行商业化摸索。
35120编辑于 2023-01-12 - 来自专栏人工智能应用
人工智能时代数据“淘金”：Python数据预处理与特征工程十大技术要点解析
一、数据“淘金”的价值提炼当我们将原始数据比作"矿井采掘的粗粝矿石"时，强调的是数据从现实世界采集时固有的不完美性。 这就是人工智能数据“淘金”。这过程远非简单的技术规程，而是融合数学直觉、领域洞见与工程智慧的艺术实践.。 缺失值处理作为数据预处理的关键步骤，其表面简单的均值填补背后隐藏着深刻的概率图模型哲学。适当对数据修补也是数据增强技术的一种体现。 说白了就是把数据特征像是折纸或是转魔方一样进行各种翻转，也就是换个量度空间看数据，但是万变不离其宗。数据特征提取不是正常的聚焦数据本身，而是聚焦数据的相对性。 特征漂移的发生主要原因如下：环境变化：外部因素（如季节、政策、用户行为）导致数据分布变化。数据源不一致：训练数据与应用数据的采集方式或来源不同。
35310编辑于 2025-07-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号