- 综合排序
- 最热优先
- 最新优先
- 来自专栏安全领域
物联网：数据淘金——从数据中挖掘有效信息
如今是信息时代，得数据者得天下。然而，只是“有”数据还不够，数据的“准确性”和数据的“分析”也是至关重要的。爱因斯坦也说过：“能用的不一定有用，有用的也不一定能用。” “数据”和“信息”不是一码事。 通过辅以机器的力量，我们可以全自动地从数据中淘金，让冰冷的数字变成感性的认知。“ 如何发现数据的内涵？ 物联网之前，分析传感器各式各样的海量数据非常困难。 通过物联网技术，我们可以把机器得到的数据放入数据池自动分析，以决定下一步需要对数据和程序做些什么。物联网不仅收集、分析数据，它还会自我提升。 “北向数据”是指从设备发出，通过网关，送至云端的数据，一般是遥测数据，也可能是命令和控制请求。 第二步：在网关这个临时节点上对数据进行一定量的分析，你可以在这处理数据（例如汇总数据，或者转换数据，为数据中心或云深入分析做好准备）。
1.2K90发布于 2018-04-17 - 来自专栏华章科技
日本麦当劳，用大数据来“淘金”
你我每天都生活在「数据之海」中，从个人浏览互联网、刷卡付账、移动支付到政府统计，点滴数据蕴藏无穷价值。麦当劳一直在实践中。 日本3G网络普及率达到100%，4G的普及率已经接近10%，手机网络信号好，且有一半的手机用户是流量不封顶套餐使用者，不会担心流量超标。手机近场支付的渗透率超过40%。 现在，日本麦当劳的注册会员数已经超过了3,000万人，也就是说每4个日本人，就有一个人在用麦当劳的优惠券业务，几乎所有的年轻人都在用。 麦当劳真正采集到用户交易信息，是在2008年开始和DoCoMo一起在其旗下3,300家门店建设了NFC手机支付读取终端，并部署了CRM系统，采集用户信息，至此，日本麦当劳形成了O2O的闭环模式。 ? 转载大数据公众号文章请注明原文链接和作者，否则产生的任何版权纠纷与大数据无关。
1.7K20发布于 2018-08-14 - 来自专栏速入大数据
R语言数据挖掘：从“挖井”到“淘金”
R语言数据挖掘：从“挖井”到“淘金”在数据挖掘的世界里，很多人喜欢把它比作“淘金”。但我更愿意把它看成是“挖井”——只有深挖，才能找到清澈的数据源；只有细掘，才能汲取真正的价值。 用R语言“掘金”数据数据挖掘的目标无非是从海量数据中发现规律，提取知识，进而指导决策。那么，如何用R语言高效挖掘数据呢？我们可以从以下几个关键步骤入手：1. 数据预处理——“开荒”数据的质量决定了挖掘的成败。现实世界中的数据往往是凌乱的，包含缺失值、异常值、重复项等问题，因此数据预处理是至关重要的一步。 3. 模型训练——“挖井”数据挖掘最核心的一步就是建模，在R语言中，我们可以使用各种机器学习算法来挖掘数据中的价值。 模型评估与优化——“淘金”仅仅训练出一个模型还不够，数据挖掘的关键在于如何优化它，提高其稳定性和泛化能力。
32210编辑于 2025-05-08 - 来自专栏挖数
中国在全世界“淘金”
消息迅速传开，约30万人从世界各地涌来淘金，其中包括不少华人，原先加州几乎没有华人居民，到1852年，华人数量骤增至3万人。这些华人多来自广东的台山市。 台山华侨博物馆 如今，这段历史又重演，不同的是这回出外“淘金” 的是中国企业。 新能源企业作为新一代风口企业，被国家寄予厚望，可以说未来中国经济的稳步增长，离不开新能源企业的做大做强。 以下是全球锂矿资源最多的六个国家： 来自美国地质调查局（USGS）2019年的数据 我国锂矿储量在全球排第六位，仅是第一位 玻利维亚 的 1/5 左右，不仅如此，我国锂矿大多是提取难度大的盐湖锂，导致国内开采速度远远跟不上消耗速度 为保障锂资源自主可控，我国新能源企业开启新一轮 “淘金”- 在全世界寻找锂矿，购入外国矿场后，把锂矿石运回中国处理。 另外是今年11月3日，加拿大工业部突然以国家安全为由，要求中矿公司、盛泽锂业公司以及藏格矿业等三家中国公司，剥离其在加拿大关键矿产公司的投资，同时还更新外国投资规定，明确提到任何涉及关键矿产控制权转移的收购
65820编辑于 2023-01-09 - 来自专栏PPV课数据科学社区
IBM谢国忠：大数据淘金—从大数据发现商业机会
2）如何扩充和获取新的数据来源（非结构化数据、外部数据和社交数据等）？ 所以，我今天报告的题目是：大数据淘金-从大数据发现商业机会。更多地偏向大数据应用模式和应用场景，而对技术细节不做详细讨论。 ? 我今天报告的内容主要分为三个部分：大数据概述、大数据在各行业的应用与实践、大数据演示（截屏）。 ? 第一部分：大数据概述 在讲述大数据之前，先让我们回顾一下计算机的发展历程。 如果我们将企业数据从两个维度来切分：数据类型和数据形态，那么企业的海量数据归纳成三类： 静态海量结构化数据 静态海量非结构化数据 动态海量流数据 这三类数据的结合，才形成企业统一的大数据环境 三个平台的组合，形成了大数据平台，那么就注定了大数据的架构是一个混搭的体系架构。大数据的架构逻辑上可分为：实时数据区、非结构化数据区、传统的数据仓库区、分析与报表区及统一的元数据与数据管控区。 而传统的企业，没有电商企业得天独厚的条件：同时拥有交互数据和交易数据。因此，传统企业大数据分析之路可从自有数据开始。 ?
2.7K50发布于 2018-04-20 - 来自专栏速入大数据
从数据海洋中“淘金”——数据挖掘的魔法与实践
从数据海洋中“淘金”——数据挖掘的魔法与实践在这个数据飞速膨胀的时代，每天产生的数据量可以用“天文数字”来形容。 如果将数据比作金矿，那么数据挖掘（Data Mining）就是在数据的海洋中挖掘黄金的技术。作为一门结合统计学、机器学习和数据库技术的交叉学科，数据挖掘正在各行各业中发挥着巨大的价值。 本文将通过通俗易懂的语言以及实际的代码示例，为大家介绍数据挖掘的核心技术和思考角度。一、数据挖掘是什么？简单来说，数据挖掘就是从庞大的数据集合中发现模式、关联和知识的过程。 这些看似“聪明”的功能背后，都有数据挖掘技术在默默工作。二、常用数据挖掘技术分类（Classification）： 用于将数据分成不同类别，比如将邮件分为“垃圾邮件”和“正常邮件”。 四、思考深度：数据挖掘的挑战和未来尽管数据挖掘技术非常强大，但我们也必须正视其面临的挑战：数据质量： 垃圾数据会直接影响挖掘结果，因此“清洗”数据是必不可少的步骤。
37310编辑于 2025-04-10 - 来自专栏速入大数据
数据挖掘：从数据堆里“淘金”，你的数据价值被挖掘了吗？
数据挖掘：从数据堆里“淘金”，你的数据价值被挖掘了吗？在这个数据爆炸的时代，我们每天都在产生海量信息：社交媒体上的点赞、网购时的浏览记录，甚至是健身手环记录下的步数。 这些数据本身可能看似杂乱无章，但如果能够通过数据挖掘技术进行深入分析，它们就能揭示隐藏在数据背后的商业价值和社会趋势。那么，数据挖掘到底是什么？它又是如何做到“点石成金”的？一、数据挖掘到底是什么？ 步骤 1：数据准备数据是数据挖掘的基础，通常我们会使用 Pandas 处理数据：import pandas as pd# 读取用户购物数据data = pd.read_csv("shopping_data.csv "] = LabelEncoder().fit_transform(data["Category"])步骤 3：使用机器学习模型进行数据挖掘以决策树为例，我们可以用它来预测用户是否会购买某个产品：from 四、数据挖掘的挑战当然，数据挖掘并不是万能的，它仍然存在很多挑战：数据质量问题：数据不完整、不规范会影响模型效果；数据隐私问题：数据挖掘容易涉及用户隐私，必须合理使用数据；算法选择问题：不同业务场景需要不同的算法
31310编辑于 2025-05-20 - 来自专栏大数据文摘
【深度】淘金大数据：航空工业催生万亿商机
淘金大数据 航空业与生俱来拥有大数据基因，由上百万个零件、数十种系统构成的飞机，通过传感器获得超过千兆字节数据，只是过去很多年，其利用率只有10%。 GE航空工程部中国区总经理王鹏告诉《21CBR》记者，“二三十年前，GE就开始提供第一代发动机状态监控服务，需要飞行员手工记录发动机数据，到后来机载设备自动记录数据，到现在飞机在飞行中发送实时数据，进行发动机实时远程故障诊断 而现在GE推广的是基于大数据的飞行和维修分析服务，分析的是全程的飞行数据。这能帮助数据分析专家和发动机专家更全面地了解飞行员的操作情况和飞行全过程的发动机工作状态。 目前已累积超过6亿飞行小时的全球地形和障碍物数据的EGPWS数据库，每月都会从各大航空公司、空管局、政府和一些数据服务商那里更新数据，以便提供更精准的服务。 告别黑匣子？ 今年3月马航失联航班MH370的搜寻中，英国的卫星通信公司Inmarsat用全新的模型分析方法，从航班与卫星的最后一次连接信号中提取了方向、距离等关键信息，确认飞机坠入南印度洋。
81460发布于 2018-05-23 - 来自专栏数据猿
数据宝藏“淘金热”，腾讯云大数据愿做“卖铲人”
截至目前，腾讯云大数据的算力规模已经突破千万核，日实时计算量达百万亿级、日运行容器数超亿级，并且形成了从底层大数据计算引擎，中层数据治理，及上层丰富业务数据应用的全体系大数据产品矩阵。 （腾讯云大数据全景图，来源：腾讯云大数据） 以云原生算力资源与存储资源为基础，腾讯云大数据产品矩阵可以分成三大层次：大数据基础引擎、数据开发与治理平台、数据应用与可视化，其上则是联合优秀的生态合作伙伴深度打造的行业场景解决方案 中层的一站式数据开发治理平台 WeData ，融合了全链路DataOps数据开发能力，以及数据地图、数据质量、数据安全等一系列数据治理和运营能力，帮助企业在数据构建与应用过程中提高数据开发效率，提升数据质量 在面向政务、金融等行业的私有云场景，TBDS则是基于腾讯多年海量数据处理经验，整合腾讯内部大数据技术能力，将云端大数据产品能力完全复刻，面向数据全生命周期的企业级大数据云平台。 客户可以借助 TBDS ，根据不同数据处理需求选择合适的大数据分析引擎和相应的数据开发治理工具，构建数据仓库、用户画像、精准推荐、风险管控等大数据应用服务。
1K20编辑于 2022-12-12 - 来自专栏用户5909132的专栏
【CLS数据淘金第五期】 云产品 CLB 日志抽样，独家发布
「CLS数据淘金第一期」介绍过 CLB 两大主要场景：运维监控场景与运营统计场景；本期我们将对运维监控场景做进一步的补充，并将重磅推出腾讯云 CLB 日志降本增效的独家利器 - CLB 日志抽样。 CLB 访问日志中针对每一条访问记录提供以下了多种耗时数据： 我们也可以从以下拓扑图进一步理解这些耗时数据： 基于以上图片， CLB访问日志中记录的不同耗时数据分别代表： request_time： 编号1-8 的时间 upstream_connect_time：编号2-3的时间 upstream_header_time：编号2-5的时间 upstream_response_time：编号2-6的时间 通常如果 bigsize_time 过高， 大概率是 GET 请求的数据量较大，导致较高的传输与处理耗时。 往期推荐： 【CLS 数据淘金第一期】CLB 日志可视化分析大洞察 【CLS数据淘金第二期】云原生日志服务之 TKE 运维指北 【CLS数据淘金第三期】CDN访问日志质量分析 【CLS数据淘金第四期】
46930编辑于 2023-03-30 - 来自专栏【腾讯云开发者】
【CLS数据淘金第三期】CDN访问日志质量分析
欢迎关注「腾讯云开发者」，期待你的「在看」哦～👇
45620编辑于 2022-11-04 内存淘金术：Redis 内存满了怎么办？
欢迎来到我的博客，代码的世界里，每一行都是一个故事 内存淘金术：Redis 内存满了怎么办？ 前言 在 Redis 的世界中，内存是宝贵的资源，但也是有限的。 具体实现方式是维护一个访问顺序的数据结构，当一个数据被访问时，将其移到数据结构的末尾，表示最近使用过。当需要淘汰数据时，从数据结构的开头选择最久未被访问的数据进行淘汰。 Redis 主动进行淘汰 redis_client.set('key1', 'value1') redis_client.set('key2', 'value2') redis_client.set('key3' , 'value3') redis_client.config_set('maxmemory', 10) # 设置 Redis 内存限制 # 主动进行淘汰，会触发内存淘汰事件 redis_client.execute_command 淘汰导致的数据不一致： 问题： 淘汰操作导致缓存中的数据与底层数据源不一致。 解决方案： 采用合适的淘汰策略，避免淘汰频繁使用的数据，或者在淘汰后及时从底层数据源重新加载数据。
57910编辑于 2025-05-30- 来自专栏日志服务CLS
【CLS数据淘金第三期】CDN访问日志质量分析
导语：内容分发网络（Content Delivery Network， CDN），全球加速节点超过2800+，覆盖三大运营商及50+家中小运营商，为用户内容加速与安全提供全方位的解决方案。 当前腾讯云日志服务（Cloud Log Service，CLS）与内容分发网络 CDN 已打通，基于腾讯云日志服务，通过对 CDN 访问日志的分析， 用户可以快速发现与定位内容分发网络中出现的访问错误与访问延时等质量问题。
59320编辑于 2022-11-02 - 来自专栏量化投资与机器学习
淘金『因子日历』：因子筛选与机器学习
2、本文主要测试了机器学习类的非线性模型所需的因子筛选指标，推荐使用 Cramer'V 和互信息，它们都能捕捉非线性关系；虽然因子和收益都是连续型变量，但也可以将它们离散化后再做测试，特别是因子尾部数据与收益的关系 ，极端数据往往有更强的预测能力。 ； ▪ 测试频率：月频，特征为因子值，标签为股票下个月收益率； ▪ 有 2 种滚动测试的样本划分：① 横截面测试：以每个月末 t 横截面对应的行数据为样本，进行滚动测试；② 跨横截面测试：模拟模型滚动训练时时间窗的划分 ，在每个月末 t ，回溯过去 24 个月（包含当前月），以这个时间区间上的行数据为样本，进行滚动测试； ▪ 因子预处理：提前剔除了缺失率高的因子，最终参与测试的因子数为 232 个。 下图还进一步对比了因子 x 的 2 种离散化方式下大类因子 Cramer'V 均值分布情况（因子 x 采用 3 等均分 equal 和保留 10% 的尾部 tail，收益 y 同上，采用 3 等均分），
2.2K23编辑于 2023-04-20 - 来自专栏日志服务CLS
【CLS数据淘金第五期】 云产品 CLB 日志抽样，独家发布
「CLS数据淘金第一期」介绍过 CLB 两大主要场景：运维监控场景与运营统计场景；本期我们将对运维监控场景做进一步的补充，并将重磅推出腾讯云 CLB 日志降本增效的独家利器 - CLB 日志抽样。 CLB 访问日志中针对每一条访问记录提供以下了多种耗时数据：图片我们也可以从以下拓扑图进一步理解这些耗时数据：图片基于以上图片， CLB访问日志中记录的不同耗时数据分别代表：request_time：编号 1-8 的时间upstream_connect_time：编号2-3的时间upstream_header_time：编号2-5的时间upstream_response_time：编号2-6的时间明白了 通常如果 bigsize_time 过高， 大概率是 GET 请求的数据量较大，导致较高的传输与处理耗时。 图片往期推荐：【CLS 数据淘金第一期】CLB 日志可视化分析大洞察【CLS数据淘金第二期】云原生日志服务之 TKE 运维指北【CLS数据淘金第三期】CDN访问日志质量分析【CLS数据淘金第四期】网络流日志
35210编辑于 2023-05-06 - 来自专栏日志服务CLS
【CLS数据淘金第四期】网络流日志-云联网日志分析
导语云联网（Cloud Connect Network，CCN）云联网覆盖全球 20+ 地域，提供云上私有网络间（VPC）、VPC 与本地数据中心间（IDC）内网互联的服务，具备全网多点互联、路由自学习 图片往期文章：【CLS数据淘金第三期】CDN访问日志质量分析【CLS数据淘金第二期】云原生日志服务之 TKE 运维指北【CLS 数据淘金第一期】负载均衡 CLB 日志可视化分析大洞察
1.3K50编辑于 2022-11-14 - 来自专栏Alter聊科技
自动驾驶淘金赛，Apollo被聚焦的底层逻辑
Apollo并非只是在进行自动驾驶技术的研发，也不是一个不着边际的造梦者，而是有着系统性的深入思考和全面布局，并在循序渐进的进行商业化摸索。
35220编辑于 2023-01-12 - 来自专栏罗超频道
从淘金到炼金，“技术+”在营销中扮演什么角色？
只不过，淘金时代结束了，炼金时代开启。 不只是VC行业，广告业何尝不是如此。营销本身跟淘金很像。在流量红利时期，广告主在开展营销活动时，很容易从充沛的注意力大盘中淘到金子。 今天淘金已经越来越难，到新地方利用新工具、新技术和新方法炼金成为大的方向，广告行业又该如何炼金呢？巨量引擎给出的答案是：技术+。 3、技术+洞察和度量。 专栏作者郑卓然在一篇文章中，对洞察给予了十分高的价值认定，他甚至认为，做营销，洞察比创意更重要。 总之，营销业不再是淘金，而是炼金，技术+，就是炼金的方法。 2、对科技行业是顺势而为。 此时此刻，巨量引擎提出“技术+”，也是一种顺势而为。 3、对巨量引擎是水到渠成。 巨量引擎在营销业首次提出“技术+”，是水到渠成。
61921发布于 2019-12-17 - 来自专栏新智元
AI 淘金热 | 机器学习创业机会在哪里？
机器学习淘金热正在到来！Libby Kinsey 是 Nesta 资本的投资经理，关注技术创新已经有 12 年。 她根据自己的观察，总结出这波淘金热的创业机会，其中包括硬件、算法、数据、行业、情感、安全等各领域分析。 Libby Kinsey：机器学习和人工智能技术正快速进入到数据驱动的业务中，变得无所不在。 铁镐和铁锹策略 在加利福尼亚州的淘金热中，卖铁锹的人先富起来了，而机器学习的铁镐和铁锹（Pick and Shovel）会是硬件、数据输入以及算法等。 3、在硬件的前端层面，GPUs 使得跨越式发展得以可能（NVIDIA GeForce GTX Titan 能让我拥有从音频中识别蝙蝠声音的能力）。 ? 3、Yossarian Lives 是一个搜索引擎，可以做侧链，就像人类可以做的一样，来帮助获得创造力。
1.2K60发布于 2018-03-13 - 来自专栏人工智能应用
人工智能时代数据“淘金”：Python数据预处理与特征工程十大技术要点解析
一、数据“淘金”的价值提炼当我们将原始数据比作"矿井采掘的粗粝矿石"时，强调的是数据从现实世界采集时固有的不完美性。 这就是人工智能数据“淘金”。这过程远非简单的技术规程，而是融合数学直觉、领域洞见与工程智慧的艺术实践.。 卷积提取时空特征model = Sequential([ Conv3D(64, kernel_size=(3,3,3), input_shape=(100,80,24,3)), MaxPooling3D (values='flow', index=['station_id','date'], columns='hour')，然后通过三维卷积核conv3d = tf.keras.layers.Conv3D (filters=64, kernel_size=(3,3,3))同时提取车站邻域拓扑、时间周期模式及日期演变趋势的三重关联。
37410编辑于 2025-07-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号