- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据科学和人工智能
数据集 | 德国能源数据
下载数据集请登录爱数科(www.idatascience.cn) 德国2006年至2017年的能源生产及消耗数据集，该数据集包括德国全国范围内的电力消耗，风能发电和太阳能发电总量等，单位为GWh。 数据预览 3. 字段诊断信息 4. 数据来源 https://open-power-system-data.org/
1.5K20编辑于 2022-03-30 - 来自专栏量子位
德国时尚圈的科学家们推出基准数据集，全是衣裤鞋包
李林 编译整理 量子位 报道 | 公众号 QbitAI MNIST，是一个手写数字数据集，除了用在机器学习入门的教学中，它还是对机器学习算法进行基准测试的常用数据集。 今天，德国研究机构Zalando Research在GitHub上发布了一个名叫Fashion-MNIST的数据集，其中训练集包含60000个样例，测试集包含10000个样例，分为10类。 除了内容不一样，这个数据集的图片尺寸、训练/测试集划分、文件的存储结构，都和MNIST一模一样。 Zalando Research在这个数据集的说明中称，AI/机器学习/数据科学界的同学们搞出一个新算法之后，往往会先在MNIST上做基准测试，来验证这个算法。 这次推出fashion-MNIST，想要取代MNIST的是德国研究机构Zalando Research，隶属于主营衣服鞋子的德国电商公司Zalando。
1K70发布于 2018-03-27 - 来自专栏互联港湾
IDC圈探营：互联港湾M7云数据中心
日前，中国IDC圈的探营活动来到了互联港湾M7云数据中心。 11月17日，中国IDC圈记者一行人在互联港湾负责人的带领下，来到了位于朝阳区酒仙桥电子城创新产业园的M7云数据中心。 上图为其中一个模块，置身其中感觉空间特别大，工作人员告诉记者，M7云数据中心机房净高5.1m，架空地板高度80cm。 上图为机柜上方线槽，M7云数据中心的网络采用了八线BGP。 到此，中国IDC圈的探营活动就告一段落了，上图为互联港湾的小伙伴与我们的合影留念，右边是互联港湾售前工程师张永善，中间是互联港湾市场部吉利，左边是中国IDC圈高级客户经理李焕金。 注：本文转载自中国IDC圈。
2.3K30发布于 2018-07-02 - 来自专栏钱塘大数据
数据开放与共享：德国工业4.0中的大数据
到2020年大数据技术预计将为欧盟创造GDP达到9570亿欧元，增加就业人数380万。作为欧洲国家的领军代表，德国政府在2013年4月就提出了“工业4.0”的概念。 该项目由德国联邦教研部与联邦经济技术部联手资助，在德国工程院、Fraunhofer(弗劳恩霍夫)协会、西门子公司等德国学术界和产业界的建议和推动下形成，并已上升为国家级战略。 它在德国工业4.0项目中，启动和领导了德国工业数字化创新的工业数据空间子项目(IDS)，该子项目专注于跨行业数据代理交换和数据应用。 但是数据所有权问题是个深刻的法律问题，即使在欧洲也没有真正解决如病历资料到底是属于医生、医院还是病人这样的问题。出于务实考虑，德国的专家们提出了数据合法的掌握者决定数据的使用条款与条件。 请进来，走出去 相比于德国工业4.0中的大数据项目，我们的差距在于：出于防止数据扩散，用户个人信息受到侵犯，数据价值无法持久化等考虑，我们在数据对外合作方面往往采取的是“请进来”的方式，即我所掌握的数据不出户
2.1K50发布于 2018-02-28 - 来自专栏FreeBuf
攻击者利用7号信令（SS7）中的漏洞从德国银行偷取钱财
近日，位于德国的O2-Telefonica公司通过《南德意志报》证实，其公司的部分客户遭受到利用SS7漏洞的网络劫持者攻击。 SS7（7）信号系统协议 —— 缺陷到底是什么？ 【Tobias Engel在柏林混沌通讯大会上的演示文稿，GSM网络结构】 利用SS7漏洞的攻击行为 Tobias解释说，网络知道手机信号塔（celltower）的位置，由此可以很好地获取用户位置的近似数据 而就如何利用SS7技术来窃听电话的问题，德国研究人员发现了两个不同的方法。 第一种方法 通过SS7网络发出的指令可以被用来拦截手机的“转发”功能，很多运营商都提供这一功能。 专家注意到，许多乌克兰移动电话持有者已经成为由俄罗斯发动出的SS7数据包的攻击目标，用来跟踪并从这些受害者的移动设备中窃取隐私信息。 德国的O2-Telefonica公司表示，其公司部分客户遭受到利用SS7漏洞绕过SFA认证机制的网络攻击行为。据悉，黑客使用SS7协议中的漏洞利用双因素认证过程来拦截银行业务向客户发送的认证码。
2.9K70发布于 2018-02-24 - 来自专栏Spark学习技巧
大数据圈还能混吗？
工作这么多年，浪尖一直从事大数据相关的架构设计，计算框架的二次开发，尤其是实时计算框架，最近两年在搞实时数仓和数据分析，浪尖算是跟着大数据生态成长起来的老人了。 目前，大数据能做的或者还在折腾的方向基本就是： 1.数仓建设，大都是是 lamda 架构，也即是离线+实时数仓。这也是 lamda 架构演进的第二阶段。 2.通过湖仓一体，来实现离线和实时统一。 典型的组合是 flink+hudi，感觉还是 flink 发展带动的，目前问题比较多，比如血缘追踪，数据修正等。需配合一些 olap 框架，如 presto 和 ck。 5.数据开发，主要是 etl，特征抽取，sql 取数 boy 啥的，这类工作可替代性太强薪水上不去的，3-5 年以内的可以搞搞；5 年以上 希望大家远离吧，尽早提升。 7.运维开发？(´･_･`)，累的累死，闲的闲死，难有建树，适合去金融国企类公司养老吧。况且都上云了，能做什么呢？缺口有多大呢？ 总之一句话能苟着提升就苟着提升吧，苟不住，自谋出路去吧。
40120编辑于 2023-10-07 - 来自专栏速入大数据
从朋友圈到数据圈：社交媒体数据如何定义我们的世界？
从朋友圈到数据圈：社交媒体数据如何定义我们的世界？近年来，大数据与社交媒体之间的交叉分析正在改变我们对世界的认知。 每天，数十亿用户通过微博、朋友圈、抖音等社交平台分享个人动态，这些数据不仅记录了我们生活的点滴，还成为了研究群体行为的宝贵财富。然而，如何在海量数据中找到洞见并实现价值转化？ 社交媒体数据的特点社交媒体数据与传统数据相比，呈现以下几个鲜明特点：规模巨大：每秒钟都有数千条推文发布、数百张图片上传。非结构化数据为主：文本、图像、视频等多种数据形式并存。 值得关注的挑战尽管社交媒体数据蕴藏巨大潜力，但其使用也面临一些亟待解决的问题：隐私问题：过度分析个人数据可能侵犯隐私权。信息过滤效应：推荐算法可能导致信息孤岛，难以接触到多元观点。 噪声数据：海量数据中隐藏了大量无关信息，如何清洗与提取关键数据是一大难点。展望未来随着自然语言处理、深度学习等技术的成熟，大数据与社交媒体分析的结合将更加紧密。
46410编辑于 2025-03-19 - 来自专栏程序员的知识天地
翻了1000个程序员的朋友圈，发现他们发圈的7大套路！
你以为他们是"默默无闻"的智慧码农，可你一旦翻看他们的朋友圈，会发现原来程序员竟是传说中的冷笑话段子高手。 一、晒技术 ? 前段时间，比尔盖茨还在晒自己以前写的代码。程序员大神们也热衷晒成就感。 按照朋友圈点赞数，这类朋友圈的点赞数绝对是最高，评论也达到全覆盖的效果，程序员与普通人齐乐的状态，只有这条能够达到~ 自己从事前端开发工作4年了
58330发布于 2019-01-28 - 来自专栏钱塘大数据
大数据生态圈就是一个厨房工具生态圈
导读：大数据生态圈就是一个厨房工具生态圈。为了做不同的菜，中国菜，日本菜，法国菜，你需要各种不同的工具。
979130发布于 2018-03-02 - 来自专栏公众号：Lucifer三思而后行
大数据生态圈如何入门？
大数据技术在企业项目开发中主要涉及数据采集、数据存储和数据计算三个方面：数据采集是利用采集技术将各种数据源、不同格式的数据快速采集到大数据平台。 数据存储是将采集过来的数据，按照不同应用场景，使用不同技术进行存储，为数据计算做准备。数据计算可以根据数据的时效性，对存储的数据进行离线计算和实时计算，最终的计算结果可以为企业决策提供数据支撑。 数据采集、数据存储和数据计算这三个方面是大数据工程师的必备技能。 大数据不是一项专门的技术，而是很多技术的综合应用。可以通过一系列大数据技术对海量数据进行分析，挖掘出数据背后的价值。 数据从总体上可以分为结构化数据和非结构化数据。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。 数据获取 数据总体可分为结构化数据和非结构化数据。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格遵循数据的字段类型和长度限制，主要通过关系型数据库进行存储和管理。
57311编辑于 2022-04-13 - 来自专栏全栈程序员必看
大数据Hadoop生态圈介绍
大数据Hadoop生态圈-组件介绍 Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。 随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 根据服务对象和层次分为：数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层 接下来对Hadoop生态圈中出现的相关组件做一个简要介绍。 1、HDFS（分布式文件系统） HDFS是整个hadoop体系的基础，负责数据的存储与管理。 7、Sqoop（数据同步工具） Sqoop是SQL-to-Hadoop的缩写，主要用于传统数据库和Hadoop之前传输数据。 它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。
1.4K20编辑于 2022-08-25 - 来自专栏大数据文摘
德国竟然愿意拿国民数据与之交换！
大数据文摘编辑，素材来自freebuf.com，环球时报，英国卫报，观察网guancha.cn，转载请注明 德国联邦宪法保卫局交换意愿 德国顶级情报机构向美国国家安全局递交了德国国民的元数据，仅仅是为了得到 德国BfV拿国民元数据交换NSA的监视软件 据德国媒体Die Zei得到的文件称，德国联邦宪法保卫局（BfV）拿其国民的数据与美国国家安全局进行交易，以得到NSA的监视系统。 【看看NSA的售前能力，哦，当然，人家产品也确实牛】 经过长达2年的谈判，双方最终签署了一份合约，德国可以获得NSA的Xkeyscore副本，用于分析德国公民的数据。 但是条件是，德国情报机构需要将公民的元数据共享给美方。 Die Zei获得的文件中有一条是：BfV方的责任是：最大限度的分享所有数据给NSA。 德国数据保护委员会和议院并不知情 BfV既没有完全将这件事通知给德国的数据保护委员会，也没有通知Parliamentary Control Panel。
1.4K30发布于 2018-05-23 - 来自专栏大数据文摘
德国情报机构再次与NSA合作，共享公民数据
内部文件显示，德国情报机构——宪法保护联邦办公室（BfV）从美国NSA处获得了XKeyscore软件，交换条件是把德国国民数据发送给NSA总部。 德国情报机构与NSA协议交换公民数据 时光倒回到2011年，NSA给德国情报机构（BfV）演示了XKeyscore软件的能力。 两年之后，BfV与NSA进行协商，最终BfV签署了一份协议，德国可以得到NSA的间谍软件，并允许他们安装使用；但条件是必须要把德国情报机构搜集到的国民元数据共享给NSA。 据《时代周刊》报道，“Terms of Reference”文件中指出，BfV的职责是最大程度的分享与NSA有关的数据。 现如今，德国的BND情报机构又重新获得NSA支持，对网民实施网络监控。 2015年7月，维基解密披露NSA在德国开展了经济间谍活动，尤其对希腊的债务危机感兴趣。美国情报机构之所以会针对德国政府，是因为它在美国和希腊谈判中拥有一个特权的地位。
75930发布于 2018-05-23 - 来自专栏数据猿
德国Fraunhofer协会推动欧洲数据开放与共享的案例实践
<数据猿导读> 德国Fraunhofer协会依托IAIS研究所(智能分析和信息系统，世界最知名的数据科学研究机构之一)，在数据挖掘、机器学习、语义技术、信息检索、软件工程等方面开展了很多卓有成效的工作， 德国Fraunhofer 协会旨在推进行业间的大数据共享，在欧洲，Fraunhofer结合大规模工业应用进行前沿研究，为各大门户网站提供数据(如德国国家数据门户，欧洲委员会数据门户和泛欧洲数据门户等等) 该门户不需要数据复制，可以单点访问欧盟数据目录(分离原始数据和元数据，保留逻辑关系)，使得区域数据可以浏览、探索，并为数据用户提供许可信息，方便欧洲国家间的数据信息相互访问。 IAIS的客户分布的各个行业，如电信业(三星、沃达丰、诺基亚西门子)，金融服务和保险业(安联，德国商业银行)，出版传播业(Springer、Zeit)，零售业(REWE，道格拉斯)，物流行业(Deutsche 通过这种商业性网络顾问和CRM数据库的合作形式，IAIS跟德国所有大公司就建立了很强的数据联系，同时与中小企业及初创企业建立强大的关联。
1.1K50发布于 2018-04-19 - 来自专栏数据猿
国家数据局出手，数据圈迎来“淘汰赛”？
“国家数据局发布了首批104个高质量数据集典型案例。 大模型的发展，催生了高质量数据集的迫切需求。近日，国家数据局发布了首批104个高质量数据集典型案例。 同理，海量原始数据也需要经过“炼化”，形成高质量数据集，才能真正有效地应用于大模型训练。 数据集，亦称资料集、数据集合或资料集合，是由数据构成的集合。 例如，四川省数据局发布的地震监测预报预警多模态联合数据集；云南省数据局的云南动物资源多模态高质量数据集构建及应用项目。 针对青藏高原极高海拔、极寒气温和极干旱的环境挑战，该数据集综合整合了卫星遥感数据、地面台站观测数据以及无人机采集数据，构建形成了规模达600TB的多圈层综合数据产品。
29410编辑于 2025-10-21 - 来自专栏生信情报站
R 数据可视化 03 | 圈图
文章目录 一、环境需求 R 及 Rstudio 的安装配置 RCircos安装 二、绘制圈图 0.载入包 1.绘制人染色体圈图 2.绘制基因 5.绘制折线图 6.绘制网络图 7.添加和弦图 0.载入包 rm(list=ls()) # 载入包 library(RCircos) 1.绘制人染色体圈图 # 绘制人染色体圈图 ---------------------------------- data(RCircos.Line.Data); # 指定以第5列数据做为图形中拆线的纵坐标 data.col <- 5; # 指定图形在第7个环形生成 track.num <- 7; # 指定图形在内侧环形生成 7.添加和弦图 # 添加一个或多个基因间的联系曲线 ---------------------------------------------------------- # 加载内置的RCircos.Link.Data 会在根目录发现导出的圈图 ?
1.3K10发布于 2021-01-12 - 来自专栏腾讯研究院的专栏
德国：让大数据与工业4.0发生协同效应
本篇就带我们一窥究竟，解读德国的“智慧大数据”。 在大数据迅速发展的背景下，德国经济和能源部为更好开发德国大数据的未来市场，支持大数据相关技术的研发创新，启动了“智慧数据—来自数据的创新”项目。 德国的IT企业、研究机构和大数据领域的企业都摩拳擦掌、跃跃欲试，力促德国发展成为数据管理和分析系统领域的领头羊。 一、“智慧数据”主要做什么？ 二、“智慧数据”可与工业4.0等项目产生协同效应 德国“智慧数据”技术项目紧紧围绕其ICT战略“数码德国2015”所设定的目标展开，同时以《高技术战略2020》中提出的“以互联网服务促经济发展” 五、德国“智慧数据”行动具有必要性 德国“智慧数据”行动的必要性，主要体现在三个方面：一是开发商业模式，二是优化发展环境，三是以数据促进工业发展。
1.2K50发布于 2018-01-31 - 来自专栏阿黎逸阳的代码
爬取娱乐圈排行榜数据
想关注你的爱豆最近在娱乐圈发展的怎么样吗？本文和你一起爬取娱乐圈的排行榜数据，来看看你的爱豆现在排名变化情况，有几次登顶，几次进了前十名呀。 如果我们想一个一个复制这些数据，再进行分析，估计要花一天的时间，才可以把明星的各期排行数据处理好。估计会处理到崩溃，还有可能会因为人为原因出错。 而用爬虫，半个小时不到就可以处理好这些数据。 接下来看看怎么把这些数据用Python爬下来吧。 二、先来看下爬取后数据的部分截图 1 男明星人气榜数据 ? 2 女明星人气榜数据 ? 注2：如果对Requests库不了解，可以参见本公众号中文章【Python】【爬虫】Requests库详解 2 把爬取到的数据整合到一个数据框中 #把爬取的数据整合到数据框中 import re 本段代码是反复调用爬虫函数获取页面数据，并用append整合到一个数据框中。
72930发布于 2020-09-08 - 来自专栏大数据开发
大数据Spark框架：Spark生态圈入门
今天我们就来讲讲Spark生态圈入门。 Spark生态圈核心组件 围绕Spark，技术生态圈也不断完善，生态圈的各个组件，在Spark Core的支持下，能够满足更多实际业务场景下的数据处理需求。 生态圈其他组件 前面所讲的是Spark当中需要掌握的重点组件，而除此之外，还有Tachyon、BlinkDB、Mesos等组件，也提供相应的支持。 关于大数据Spark框架，Spark生态圈入门，以上就为大家做了一个简单的介绍了。 Spark在大数据领域当中，占据着明显的市场规模，而学习大数据，Spark及其生态圈，是需要掌握的重点内容，需加以重视。
1.3K30发布于 2020-10-27 - 来自专栏钱塘大数据
一图简述大数据技术生态圈
1、HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化数据集群。像Facebook，都拿它做大型实时应用。 2、Hive Facebook领导的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 3、Pig Yahoo开发的，并行地执行数据流处理的引擎，它包含了一种脚本语言，称为Pig Latin，用来描述这些数据流。 Pig Latin本身提供了许多传统的数据操作，同时允许用户自己开发一些自定义函数用来读取、处理和写数据。在LinkedIn也是大量使用。 7、Azkaban 跟上面很像，Linkedin开源的面向Hadoop的开源工作流系统，提供了类似于cron 的管理任务。
1K80发布于 2018-03-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号