- 综合排序
- 最热优先
- 最新优先
- 来自专栏安全领域
物联网：数据淘金——从数据中挖掘有效信息
如今是信息时代，得数据者得天下。然而，只是“有”数据还不够，数据的“准确性”和数据的“分析”也是至关重要的。爱因斯坦也说过：“能用的不一定有用，有用的也不一定能用。” “数据”和“信息”不是一码事。 通过辅以机器的力量，我们可以全自动地从数据中淘金，让冰冷的数字变成感性的认知。“ 如何发现数据的内涵？ 物联网之前，分析传感器各式各样的海量数据非常困难。 第二步：在网关这个临时节点上对数据进行一定量的分析，你可以在这处理数据（例如汇总数据，或者转换数据，为数据中心或云深入分析做好准备）。 例如，你可能不知道当气温降到10℃以下时，医生开出的抗流感处方会增加30％，而同时鸡汤、纸巾的销售额也会10天内上升。你以前可能没注意到这些关联，但现在有了物联网，你就可以用这些做出新的商业决策。 例如，当传感器发现温度已经降到10℃以下时，就让仓库把鸡汤和纸巾运到码头附近。这样，你就把信息变成了可监控、管理、执行的行事规则。 第四步：最后把制定好的规则付诸实践。就是如图所示的迭代过程。
1.2K90发布于 2018-04-17 - 来自专栏华章科技
日本麦当劳，用大数据来“淘金”
你我每天都生活在「数据之海」中，从个人浏览互联网、刷卡付账、移动支付到政府统计，点滴数据蕴藏无穷价值。麦当劳一直在实践中。 日本3G网络普及率达到100%，4G的普及率已经接近10%，手机网络信号好，且有一半的手机用户是流量不封顶套餐使用者，不会担心流量超标。手机近场支付的渗透率超过40%。 有愈来愈多餐饮企业，追随日本麦当劳的脚步，在空前浩瀚的海量数据里掏金。 ? 大数据应用专家观点 2020年，全球资料量将达40ZB(相当于1兆GB)，约2015年的15倍。大数据商机，已经在爆发。 从数据分析、精准营销、与使用者互动，到完整打造自有生态体系，海量数据改写了营销的传统定义，更翻转了企业与消费者之间的关系。 美国国家广告商协会年度大会上，以「疯狂」来形容眼前的营销剧变。 转载大数据公众号文章请注明原文链接和作者，否则产生的任何版权纠纷与大数据无关。
1.7K20发布于 2018-08-14 - 来自专栏速入大数据
R语言数据挖掘：从“挖井”到“淘金”
R语言数据挖掘：从“挖井”到“淘金”在数据挖掘的世界里，很多人喜欢把它比作“淘金”。但我更愿意把它看成是“挖井”——只有深挖，才能找到清澈的数据源；只有细掘，才能汲取真正的价值。 用R语言“掘金”数据数据挖掘的目标无非是从海量数据中发现规律，提取知识，进而指导决策。那么，如何用R语言高效挖掘数据呢？我们可以从以下几个关键步骤入手：1. 数据预处理——“开荒”数据的质量决定了挖掘的成败。现实世界中的数据往往是凌乱的，包含缺失值、异常值、重复项等问题，因此数据预处理是至关重要的一步。 library(ggplot2)# 画出变量的分布ggplot(data_clean, aes(x = 某变量)) + geom_histogram(binwidth = 10, fill = "skyblue 模型评估与优化——“淘金”仅仅训练出一个模型还不够，数据挖掘的关键在于如何优化它，提高其稳定性和泛化能力。
32210编辑于 2025-05-08 - 来自专栏挖数
中国在全世界“淘金”
消息迅速传开，约30万人从世界各地涌来淘金，其中包括不少华人，原先加州几乎没有华人居民，到1852年，华人数量骤增至3万人。这些华人多来自广东的台山市。 以下是全球锂矿资源最多的六个国家： 来自美国地质调查局（USGS）2019年的数据 我国锂矿储量在全球排第六位，仅是第一位 玻利维亚 的 1/5 左右，不仅如此，我国锂矿大多是提取难度大的盐湖锂，导致国内开采速度远远跟不上消耗速度 为保障锂资源自主可控，我国新能源企业开启新一轮 “淘金”- 在全世界寻找锂矿，购入外国矿场后，把锂矿石运回中国处理。 而天齐锂业的股价也从2012年的5元，涨到今年最高148元，10年30倍涨幅。 未来的不确定 随着国际争端加剧，以及锂需求的日益增大，各国开始抓紧手上资源，今年10月下旬，锂矿资源排名前三的玻利维亚、阿根廷和智利正草拟一份文件，打算建立类似石油输出国组织欧佩克（OPEC）的锂三角欧佩克
65820编辑于 2023-01-09 - 来自专栏PPV课数据科学社区
IBM谢国忠：大数据淘金—从大数据发现商业机会
2）如何扩充和获取新的数据来源（非结构化数据、外部数据和社交数据等）？ 所以，我今天报告的题目是：大数据淘金-从大数据发现商业机会。更多地偏向大数据应用模式和应用场景，而对技术细节不做详细讨论。 ? 我今天报告的内容主要分为三个部分：大数据概述、大数据在各行业的应用与实践、大数据演示（截屏）。 ? 第一部分：大数据概述 在讲述大数据之前，先让我们回顾一下计算机的发展历程。 如果我们将企业数据从两个维度来切分：数据类型和数据形态，那么企业的海量数据归纳成三类： 静态海量结构化数据 静态海量非结构化数据 动态海量流数据 这三类数据的结合，才形成企业统一的大数据环境 三个平台的组合，形成了大数据平台，那么就注定了大数据的架构是一个混搭的体系架构。大数据的架构逻辑上可分为：实时数据区、非结构化数据区、传统的数据仓库区、分析与报表区及统一的元数据与数据管控区。 而传统的企业，没有电商企业得天独厚的条件：同时拥有交互数据和交易数据。因此，传统企业大数据分析之路可从自有数据开始。 ?
2.7K50发布于 2018-04-20 - 来自专栏速入大数据
从数据海洋中“淘金”——数据挖掘的魔法与实践
从数据海洋中“淘金”——数据挖掘的魔法与实践在这个数据飞速膨胀的时代，每天产生的数据量可以用“天文数字”来形容。 如果将数据比作金矿，那么数据挖掘（Data Mining）就是在数据的海洋中挖掘黄金的技术。作为一门结合统计学、机器学习和数据库技术的交叉学科，数据挖掘正在各行各业中发挥着巨大的价值。 本文将通过通俗易懂的语言以及实际的代码示例，为大家介绍数据挖掘的核心技术和思考角度。一、数据挖掘是什么？简单来说，数据挖掘就是从庞大的数据集合中发现模式、关联和知识的过程。 这些看似“聪明”的功能背后，都有数据挖掘技术在默默工作。二、常用数据挖掘技术分类（Classification）： 用于将数据分成不同类别，比如将邮件分为“垃圾邮件”和“正常邮件”。 四、思考深度：数据挖掘的挑战和未来尽管数据挖掘技术非常强大，但我们也必须正视其面临的挑战：数据质量： 垃圾数据会直接影响挖掘结果，因此“清洗”数据是必不可少的步骤。
37310编辑于 2025-04-10 - 来自专栏速入大数据
数据挖掘：从数据堆里“淘金”，你的数据价值被挖掘了吗？
数据挖掘：从数据堆里“淘金”，你的数据价值被挖掘了吗？在这个数据爆炸的时代，我们每天都在产生海量信息：社交媒体上的点赞、网购时的浏览记录，甚至是健身手环记录下的步数。 这些数据本身可能看似杂乱无章，但如果能够通过数据挖掘技术进行深入分析，它们就能揭示隐藏在数据背后的商业价值和社会趋势。那么，数据挖掘到底是什么？它又是如何做到“点石成金”的？一、数据挖掘到底是什么？ 步骤 1：数据准备数据是数据挖掘的基础，通常我们会使用 Pandas 处理数据：import pandas as pd# 读取用户购物数据data = pd.read_csv("shopping_data.csv ")# 查看数据结构print(data.head())这一步的目标是清理数据，处理缺失值，并确保数据质量。 四、数据挖掘的挑战当然，数据挖掘并不是万能的，它仍然存在很多挑战：数据质量问题：数据不完整、不规范会影响模型效果；数据隐私问题：数据挖掘容易涉及用户隐私，必须合理使用数据；算法选择问题：不同业务场景需要不同的算法
31310编辑于 2025-05-20 - 来自专栏大数据文摘
【深度】淘金大数据：航空工业催生万亿商机
淘金大数据 航空业与生俱来拥有大数据基因，由上百万个零件、数十种系统构成的飞机，通过传感器获得超过千兆字节数据，只是过去很多年，其利用率只有10%。 而现在GE推广的是基于大数据的飞行和维修分析服务，分析的是全程的飞行数据。这能帮助数据分析专家和发动机专家更全面地了解飞行员的操作情况和飞行全过程的发动机工作状态。 GE全球研发中心上海总经理兼技术总监魏斌告诉《21CBR》记者，通过故障数据的采集与分析发现，在中国发生的引擎故障中，包括PM10、沙尘、锍、氯等在内的环境污染是损坏发动机的主要原因之一，尤其是某些城际间的航线 目前已累积超过6亿飞行小时的全球地形和障碍物数据的EGPWS数据库，每月都会从各大航空公司、空管局、政府和一些数据服务商那里更新数据，以便提供更精准的服务。 告别黑匣子？ “我们现在的黑匣子有着极高的耐压与密闭性，能够承受3400G重力加速度的破坏力量，而一个普通人可能的承受力上限只是10G。
81460发布于 2018-05-23 - 来自专栏数据猿
数据宝藏“淘金热”，腾讯云大数据愿做“卖铲人”
截至目前，腾讯云大数据的算力规模已经突破千万核，日实时计算量达百万亿级、日运行容器数超亿级，并且形成了从底层大数据计算引擎，中层数据治理，及上层丰富业务数据应用的全体系大数据产品矩阵。 中层的一站式数据开发治理平台 WeData ，融合了全链路DataOps数据开发能力，以及数据地图、数据质量、数据安全等一系列数据治理和运营能力，帮助企业在数据构建与应用过程中提高数据开发效率，提升数据质量 客户可以借助 TBDS ，根据不同数据处理需求选择合适的大数据分析引擎和相应的数据开发治理工具，构建数据仓库、用户画像、精准推荐、风险管控等大数据应用服务。 、多目标联合建模等独特电商算法，在相关推荐、猜你喜欢等场景均实现了商品的点击率、转化率和GMV高达10-20倍的增长。 腾讯云大数据BI产品中心副总经理陈凡凡表示，腾讯云深耕BI领域近10年，累计服务内外部近千款产品。
1K20编辑于 2022-12-12 - 来自专栏用户5909132的专栏
【CLS数据淘金第五期】 云产品 CLB 日志抽样，独家发布
「CLS数据淘金第一期」介绍过 CLB 两大主要场景：运维监控场景与运营统计场景；本期我们将对运维监控场景做进一步的补充，并将重磅推出腾讯云 CLB 日志降本增效的独家利器 - CLB 日志抽样。 CLB 访问日志中针对每一条访问记录提供以下了多种耗时数据： 我们也可以从以下拓扑图进一步理解这些耗时数据： 基于以上图片， CLB访问日志中记录的不同耗时数据分别代表： request_time： 通常如果 bigsize_time 过高， 大概率是 GET 请求的数据量较大，导致较高的传输与处理耗时。 往期推荐： 【CLS 数据淘金第一期】CLB 日志可视化分析大洞察 【CLS数据淘金第二期】云原生日志服务之 TKE 运维指北 【CLS数据淘金第三期】CDN访问日志质量分析 【CLS数据淘金第四期】
46930编辑于 2023-03-30 - 来自专栏【腾讯云开发者】
【CLS数据淘金第三期】CDN访问日志质量分析
欢迎关注「腾讯云开发者」，期待你的「在看」哦～👇
45620编辑于 2022-11-04 内存淘金术：Redis 内存满了怎么办？
欢迎来到我的博客，代码的世界里，每一行都是一个故事 内存淘金术：Redis 内存满了怎么办？ 前言 在 Redis 的世界中，内存是宝贵的资源，但也是有限的。 具体实现方式是维护一个访问顺序的数据结构，当一个数据被访问时，将其移到数据结构的末尾，表示最近使用过。当需要淘汰数据时，从数据结构的开头选择最久未被访问的数据进行淘汰。 定期淘汰策略 定期淘汰策略： 定期淘汰策略涉及定期扫描数据库，根据一定规则淘汰数据，以确保缓存中的数据始终保持最新。这种策略可以根据一些规则，如过期时间、访问时间等，来判断哪些数据应该被淘汰。 redis_client.set('key2', 'value2') redis_client.set('key3', 'value3') redis_client.config_set('maxmemory', 10 淘汰导致的数据不一致： 问题： 淘汰操作导致缓存中的数据与底层数据源不一致。 解决方案： 采用合适的淘汰策略，避免淘汰频繁使用的数据，或者在淘汰后及时从底层数据源重新加载数据。
58110编辑于 2025-05-30- 来自专栏日志服务CLS
【CLS数据淘金第三期】CDN访问日志质量分析
导语：内容分发网络（Content Delivery Network， CDN），全球加速节点超过2800+，覆盖三大运营商及50+家中小运营商，为用户内容加速与安全提供全方位的解决方案。 当前腾讯云日志服务（Cloud Log Service，CLS）与内容分发网络 CDN 已打通，基于腾讯云日志服务，通过对 CDN 访问日志的分析， 用户可以快速发现与定位内容分发网络中出现的访问错误与访问延时等质量问题。
59320编辑于 2022-11-02 - 来自专栏量化投资与机器学习
淘金『因子日历』：因子筛选与机器学习
2、本文主要测试了机器学习类的非线性模型所需的因子筛选指标，推荐使用 Cramer'V 和互信息，它们都能捕捉非线性关系；虽然因子和收益都是连续型变量，但也可以将它们离散化后再做测试，特别是因子尾部数据与收益的关系 ，极端数据往往有更强的预测能力。 ，进行滚动测试；② 跨横截面测试：模拟模型滚动训练时时间窗的划分，在每个月末 t ，回溯过去 24 个月（包含当前月），以这个时间区间上的行数据为样本，进行滚动测试； ▪ 因子预处理：提前剔除了缺失率高的因子 在计算单个因子的信息熵时，先将因子按取值范围的 10% 分位间隔进行离散化处理，分为 10 组，各组内的频数不等，再基于如下公式计算信息熵，其中p(xi)为各组内的频率： H(X)=-\sum_{i=1 下图还进一步对比了因子 x 的 2 种离散化方式下大类因子 Cramer'V 均值分布情况（因子 x 采用 3 等均分 equal 和保留 10% 的尾部 tail，收益 y 同上，采用 3 等均分），
2.2K23编辑于 2023-04-20 - 来自专栏日志服务CLS
【CLS数据淘金第五期】 云产品 CLB 日志抽样，独家发布
「CLS数据淘金第一期」介绍过 CLB 两大主要场景：运维监控场景与运营统计场景；本期我们将对运维监控场景做进一步的补充，并将重磅推出腾讯云 CLB 日志降本增效的独家利器 - CLB 日志抽样。 CLB 访问日志中针对每一条访问记录提供以下了多种耗时数据：图片我们也可以从以下拓扑图进一步理解这些耗时数据：图片基于以上图片， CLB访问日志中记录的不同耗时数据分别代表：request_time：编号 通常如果 bigsize_time 过高， 大概率是 GET 请求的数据量较大，导致较高的传输与处理耗时。 图片往期推荐：【CLS 数据淘金第一期】CLB 日志可视化分析大洞察【CLS数据淘金第二期】云原生日志服务之 TKE 运维指北【CLS数据淘金第三期】CDN访问日志质量分析【CLS数据淘金第四期】网络流日志
35210编辑于 2023-05-06 - 来自专栏日志服务CLS
【CLS数据淘金第四期】网络流日志-云联网日志分析
导语云联网（Cloud Connect Network，CCN）云联网覆盖全球 20+ 地域，提供云上私有网络间（VPC）、VPC 与本地数据中心间（IDC）内网互联的服务，具备全网多点互联、路由自学习 protocol as varchar),' srcport:'),srcport,' dstport:'),dstport) as protocol group by protocol limit 10 图片往期文章：【CLS数据淘金第三期】CDN访问日志质量分析【CLS数据淘金第二期】云原生日志服务之 TKE 运维指北【CLS 数据淘金第一期】负载均衡 CLB 日志可视化分析大洞察
1.3K50编辑于 2022-11-14 - 来自专栏Alter聊科技
自动驾驶淘金赛，Apollo被聚焦的底层逻辑
Apollo并非只是在进行自动驾驶技术的研发，也不是一个不着边际的造梦者，而是有着系统性的深入思考和全面布局，并在循序渐进的进行商业化摸索。
35220编辑于 2023-01-12 - 来自专栏罗超频道
从淘金到炼金，“技术+”在营销中扮演什么角色？
营销业不再是淘金，而是炼金。技术+，就是炼金的方法。 每年底，人们都会说“寒冬”这个话题，2019年尤甚，广告行业与经济大环境直接相关，因此很早就有人提出了广告行业“增长寒冬”的话题。 只不过，淘金时代结束了，炼金时代开启。 不只是VC行业，广告业何尝不是如此。营销本身跟淘金很像。在流量红利时期，广告主在开展营销活动时，很容易从充沛的注意力大盘中淘到金子。 今天淘金已经越来越难，到新地方利用新工具、新技术和新方法炼金成为大的方向，广告行业又该如何炼金呢？巨量引擎给出的答案是：技术+。 ，提供真线索，在运行短短四个月时间，汽车行业增长了10倍，增长很明显。 总之，营销业不再是淘金，而是炼金，技术+，就是炼金的方法。 2、对科技行业是顺势而为。 此时此刻，巨量引擎提出“技术+”，也是一种顺势而为。
61921发布于 2019-12-17 - 来自专栏新智元
AI 淘金热 | 机器学习创业机会在哪里？
机器学习淘金热正在到来！Libby Kinsey 是 Nesta 资本的投资经理，关注技术创新已经有 12 年。 她根据自己的观察，总结出这波淘金热的创业机会，其中包括硬件、算法、数据、行业、情感、安全等各领域分析。 Libby Kinsey：机器学习和人工智能技术正快速进入到数据驱动的业务中，变得无所不在。 铁镐和铁锹策略 在加利福尼亚州的淘金热中，卖铁锹的人先富起来了，而机器学习的铁镐和铁锹（Pick and Shovel）会是硬件、数据输入以及算法等。 数据一直就像低悬的水果（跳一跳就能摘到），例如社会和经济数据，但是在那些很难获得和很难进行标签的数据，依然有很多机会。 面部表情的情感数据集就在这个类别中，还有 Pallas Ludens 的端对端注释服务，Opensensors.io 给公开来源的传感数据增加权重。 基因组和医疗图像的数据呢？这让位于棘手的隐私问题。
1.2K60发布于 2018-03-13 - 来自专栏人工智能应用
人工智能时代数据“淘金”：Python数据预处理与特征工程十大技术要点解析
一、数据“淘金”的价值提炼当我们将原始数据比作"矿井采掘的粗粝矿石"时，强调的是数据从现实世界采集时固有的不完美性。 这就是人工智能数据“淘金”。这过程远非简单的技术规程，而是融合数学直觉、领域洞见与工程智慧的艺术实践.。 说白了就是把数据特征像是折纸或是转魔方一样进行各种翻转，也就是换个量度空间看数据，但是万变不离其宗。数据特征提取不是正常的聚焦数据本身，而是聚焦数据的相对性。 [i,j]], y, discrete_features=False )[0]# 特征谱聚类clustering = SpectralClustering( n_clusters=10 , affinity='precomputed').fit(MI_matrix)selected_features = []for cluster_id in range(10): cluster_features
37410编辑于 2025-07-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号