- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据科学和人工智能
数据集 | 德国能源数据
下载数据集请登录爱数科(www.idatascience.cn) 德国2006年至2017年的能源生产及消耗数据集，该数据集包括德国全国范围内的电力消耗，风能发电和太阳能发电总量等，单位为GWh。 数据预览 3. 字段诊断信息 4. 数据来源 https://open-power-system-data.org/
1.5K20编辑于 2022-03-30 - 来自专栏量子位
德国时尚圈的科学家们推出基准数据集，全是衣裤鞋包
李林 编译整理 量子位 报道 | 公众号 QbitAI MNIST，是一个手写数字数据集，除了用在机器学习入门的教学中，它还是对机器学习算法进行基准测试的常用数据集。 今天，德国研究机构Zalando Research在GitHub上发布了一个名叫Fashion-MNIST的数据集，其中训练集包含60000个样例，测试集包含10000个样例，分为10类。 除了内容不一样，这个数据集的图片尺寸、训练/测试集划分、文件的存储结构，都和MNIST一模一样。 Zalando Research在这个数据集的说明中称，AI/机器学习/数据科学界的同学们搞出一个新算法之后，往往会先在MNIST上做基准测试，来验证这个算法。 这次推出fashion-MNIST，想要取代MNIST的是德国研究机构Zalando Research，隶属于主营衣服鞋子的德国电商公司Zalando。
1K70发布于 2018-03-27 - 来自专栏安恒信息
德国政府称Windows 8有“重大危险性”
最近有人就发现早在NSA事件泄密之前，德国政府已经就此提交了报告，结论是Windows 8有“重大危险性”。 德国最大入门网站之一的ZEIT ONLINE，近日得到一份德国政府经济部门在2012年初提交的报告，表示难以在联邦政府和重要的资讯基建中引进Windows 8，原因是该作业系统使用了新的Trusted 报告指出藉此技术，NSA等美国情报部门，将可在Windows 8中加入后门，在用户不知不觉间自出自入，收集用户的个人资料。 现时TPM可以容许用户自行决定是否启用，但TPM自2.0起，将会强制在Windows 8开机时启动。 第二是用户无法对其设定作出任何修改，第三是软体执行的生杀大权完全在Windows 8的手上。
67670发布于 2018-04-09 - 来自专栏钱塘大数据
数据开放与共享：德国工业4.0中的大数据
到2020年大数据技术预计将为欧盟创造GDP达到9570亿欧元，增加就业人数380万。作为欧洲国家的领军代表，德国政府在2013年4月就提出了“工业4.0”的概念。 该项目由德国联邦教研部与联邦经济技术部联手资助，在德国工程院、Fraunhofer(弗劳恩霍夫)协会、西门子公司等德国学术界和产业界的建议和推动下形成，并已上升为国家级战略。 它在德国工业4.0项目中，启动和领导了德国工业数字化创新的工业数据空间子项目(IDS)，该子项目专注于跨行业数据代理交换和数据应用。 但是数据所有权问题是个深刻的法律问题，即使在欧洲也没有真正解决如病历资料到底是属于医生、医院还是病人这样的问题。出于务实考虑，德国的专家们提出了数据合法的掌握者决定数据的使用条款与条件。 请进来，走出去 相比于德国工业4.0中的大数据项目，我们的差距在于：出于防止数据扩散，用户个人信息受到侵犯，数据价值无法持久化等考虑，我们在数据对外合作方面往往采取的是“请进来”的方式，即我所掌握的数据不出户
2.1K50发布于 2018-02-28 - 来自专栏Spark学习技巧
大数据圈还能混吗？
工作这么多年，浪尖一直从事大数据相关的架构设计，计算框架的二次开发，尤其是实时计算框架，最近两年在搞实时数仓和数据分析，浪尖算是跟着大数据生态成长起来的老人了。 目前，大数据能做的或者还在折腾的方向基本就是： 1.数仓建设，大都是是 lamda 架构，也即是离线+实时数仓。这也是 lamda 架构演进的第二阶段。 2.通过湖仓一体，来实现离线和实时统一。 典型的组合是 flink+hudi，感觉还是 flink 发展带动的，目前问题比较多，比如血缘追踪，数据修正等。需配合一些 olap 框架，如 presto 和 ck。 5.数据开发，主要是 etl，特征抽取，sql 取数 boy 啥的，这类工作可替代性太强薪水上不去的，3-5 年以内的可以搞搞；5 年以上 希望大家远离吧，尽早提升。
40120编辑于 2023-10-07 - 来自专栏速入大数据
从朋友圈到数据圈：社交媒体数据如何定义我们的世界？
从朋友圈到数据圈：社交媒体数据如何定义我们的世界？近年来，大数据与社交媒体之间的交叉分析正在改变我们对世界的认知。 每天，数十亿用户通过微博、朋友圈、抖音等社交平台分享个人动态，这些数据不仅记录了我们生活的点滴，还成为了研究群体行为的宝贵财富。然而，如何在海量数据中找到洞见并实现价值转化？ 社交媒体数据的特点社交媒体数据与传统数据相比，呈现以下几个鲜明特点：规模巨大：每秒钟都有数千条推文发布、数百张图片上传。非结构化数据为主：文本、图像、视频等多种数据形式并存。 值得关注的挑战尽管社交媒体数据蕴藏巨大潜力，但其使用也面临一些亟待解决的问题：隐私问题：过度分析个人数据可能侵犯隐私权。信息过滤效应：推荐算法可能导致信息孤岛，难以接触到多元观点。 噪声数据：海量数据中隐藏了大量无关信息，如何清洗与提取关键数据是一大难点。展望未来随着自然语言处理、深度学习等技术的成熟，大数据与社交媒体分析的结合将更加紧密。
46410编辑于 2025-03-19 - 来自专栏k8s技术圈
k8s技术圈一周精选
HPA 控制器算法 HPA 控制器与聚合 API 获取到 Pod 性能指标数据之后，基于下面的算法计算出目标 Pod 副本数量，与当前运行的 Pod 副本数量进行对比，决定是否需要进行扩缩容操作： desiredReplicas LeastRequestedPriority 调度算法 在研究 k8s 调度器里面的优选算法的时候有一个 LeastRequestedPriority 算法：通过计算 CPU 和内存的使用率来决定权重， CoreDNS 做 CNAME 解析 如何在 K8S 中做 cname，这个其实 coredns 中就可以直接支持，如下图所示 6. 强制删除 namespace 有时候在 K8S 中删除一个 namespace 会卡住，强制删除也没用，前面我们介绍了可以去 etcd 里面去删除对应的数据，这种方式比较暴力，除此之外我们也可以通过 API 8. DNS 5s 解析问题 由于 Linux 内核中的缺陷，在 Kubernetes 集群中你很可能会碰到恼人的 DNS 间歇性 5 秒延迟问题。
98440发布于 2020-08-11 - 来自专栏芯智讯
投资超20亿欧元，Wolfspeed宣布在德国建8吋碳化硅晶圆厂
2月2日消息，美国第三代半导体大厂制造大厂Wolfspeed于当地时间2 月1 日宣布，计划投资超过20亿元在德国萨尔建造一座8 吋碳化硅(SiC) 晶圆厂，这也将是Wolfspeed在欧洲的首座晶圆厂 Wolfspeed 表示，该晶圆厂将成为全球最大的 8 吋碳化硅晶圆厂，占地 35 英亩，将采用创新性制造技术来生产下一代碳化硅晶圆，预计最快 2023 年上半年动工。 另外，汽车制造集团 ZF Group 也将参与Wolfspeed 在德国兴建 8 吋碳化硅晶圆厂的计划，并与 Wolfspeed 达成战略合作，还将提供投资以支持新晶圆厂建设。 Wolfspeed表示，这座欧洲的新晶圆厂将与另外的一座8吋晶圆零件工厂、John Palmour 碳化硅制造中心一同成为该公司投资 65 亿美元产能扩张大计划的重要组成部分，该晶圆厂也预计将增加当地约
28230编辑于 2023-02-09 - 来自专栏钱塘大数据
大数据生态圈就是一个厨房工具生态圈
导读：大数据生态圈就是一个厨房工具生态圈。为了做不同的菜，中国菜，日本菜，法国菜，你需要各种不同的工具。
979130发布于 2018-03-02 - 来自专栏公众号：Lucifer三思而后行
大数据生态圈如何入门？
大数据技术在企业项目开发中主要涉及数据采集、数据存储和数据计算三个方面：数据采集是利用采集技术将各种数据源、不同格式的数据快速采集到大数据平台。 数据存储是将采集过来的数据，按照不同应用场景，使用不同技术进行存储，为数据计算做准备。数据计算可以根据数据的时效性，对存储的数据进行离线计算和实时计算，最终的计算结果可以为企业决策提供数据支撑。 数据采集、数据存储和数据计算这三个方面是大数据工程师的必备技能。 大数据不是一项专门的技术，而是很多技术的综合应用。可以通过一系列大数据技术对海量数据进行分析，挖掘出数据背后的价值。 数据从总体上可以分为结构化数据和非结构化数据。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。 数据获取 数据总体可分为结构化数据和非结构化数据。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格遵循数据的字段类型和长度限制，主要通过关系型数据库进行存储和管理。
57311编辑于 2022-04-13 - 来自专栏全栈程序员必看
大数据Hadoop生态圈介绍
大数据Hadoop生态圈-组件介绍 Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。 随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 根据服务对象和层次分为：数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层 接下来对Hadoop生态圈中出现的相关组件做一个简要介绍。 1、HDFS（分布式文件系统） HDFS是整个hadoop体系的基础，负责数据的存储与管理。 8、Hive/Impala（基于Hadoop的数据仓库） Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。 它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。
1.4K20编辑于 2022-08-25 - 来自专栏企鹅号快讯
博览安全圈：印度10亿公民信息仅售8美元
2、印度公民信息数据外泄，8美元可购10亿公民信息！ 数据泄露在网络安全领域已经不算是什么新鲜事，但当我们面临一些大规模的数据泄露时也不免要唏嘘一番。 据悉，公民信息数据库Aadhaar包含有印度公民的名字、电话号码、邮箱地址以及指纹、虹膜纪录等多种敏感信息，而泄露的数据量达到10亿之巨！ 根据印度媒体报道，数据库信息被窃取后，网民在网上已经可以购买到这些信息，而10亿印度公民的个人信息只需要不到8美元就能够轻松获得，价格之低廉令人咋舌。 3、西部数据My Cloud私有云半年前漏洞仍未修复 NAS存储设备相信 很多人都不陌生，而随着云服务的发展，很多硬盘厂商推出了私有云产品，西部数据My Cloud就是代表之一。 安全厂商安华金和建议用户，在西部数据推送安全补丁前，最好将设备彻底断网，以保证数据的安全。 网络安全需要全民共建，奔着这个目标我们会一直努力，希望大家能够关注我们的每一次更新，关注网络安全。
805100发布于 2018-02-07 - 来自专栏大数据文摘
德国竟然愿意拿国民数据与之交换！
大数据文摘编辑，素材来自freebuf.com，环球时报，英国卫报，观察网guancha.cn，转载请注明 德国联邦宪法保卫局交换意愿 德国顶级情报机构向美国国家安全局递交了德国国民的元数据，仅仅是为了得到 德国BfV拿国民元数据交换NSA的监视软件 据德国媒体Die Zei得到的文件称，德国联邦宪法保卫局（BfV）拿其国民的数据与美国国家安全局进行交易，以得到NSA的监视系统。 【看看NSA的售前能力，哦，当然，人家产品也确实牛】 经过长达2年的谈判，双方最终签署了一份合约，德国可以获得NSA的Xkeyscore副本，用于分析德国公民的数据。 但是条件是，德国情报机构需要将公民的元数据共享给美方。 Die Zei获得的文件中有一条是：BfV方的责任是：最大限度的分享所有数据给NSA。 德国数据保护委员会和议院并不知情 BfV既没有完全将这件事通知给德国的数据保护委员会，也没有通知Parliamentary Control Panel。
1.4K30发布于 2018-05-23 - 来自专栏大数据文摘
德国情报机构再次与NSA合作，共享公民数据
去年8月份，德国《时代周刊》披露的文件中披露德国情报机构与NSA达成协议，获得监视平台XKeyscore的访问权限。 内部文件显示，德国情报机构——宪法保护联邦办公室（BfV）从美国NSA处获得了XKeyscore软件，交换条件是把德国国民数据发送给NSA总部。 德国情报机构与NSA协议交换公民数据 时光倒回到2011年，NSA给德国情报机构（BfV）演示了XKeyscore软件的能力。 两年之后，BfV与NSA进行协商，最终BfV签署了一份协议，德国可以得到NSA的间谍软件，并允许他们安装使用；但条件是必须要把德国情报机构搜集到的国民元数据共享给NSA。 据《时代周刊》报道，“Terms of Reference”文件中指出，BfV的职责是最大程度的分享与NSA有关的数据。 现如今，德国的BND情报机构又重新获得NSA支持，对网民实施网络监控。
75930发布于 2018-05-23 - 来自专栏数据猿
德国Fraunhofer协会推动欧洲数据开放与共享的案例实践
<数据猿导读> 德国Fraunhofer协会依托IAIS研究所(智能分析和信息系统，世界最知名的数据科学研究机构之一)，在数据挖掘、机器学习、语义技术、信息检索、软件工程等方面开展了很多卓有成效的工作， 德国Fraunhofer 协会旨在推进行业间的大数据共享，在欧洲，Fraunhofer结合大规模工业应用进行前沿研究，为各大门户网站提供数据(如德国国家数据门户，欧洲委员会数据门户和泛欧洲数据门户等等) 该门户不需要数据复制，可以单点访问欧盟数据目录(分离原始数据和元数据，保留逻辑关系)，使得区域数据可以浏览、探索，并为数据用户提供许可信息，方便欧洲国家间的数据信息相互访问。 IAIS的客户分布的各个行业，如电信业(三星、沃达丰、诺基亚西门子)，金融服务和保险业(安联，德国商业银行)，出版传播业(Springer、Zeit)，零售业(REWE，道格拉斯)，物流行业(Deutsche 通过这种商业性网络顾问和CRM数据库的合作形式，IAIS跟德国所有大公司就建立了很强的数据联系，同时与中小企业及初创企业建立强大的关联。
1.1K50发布于 2018-04-19 - 来自专栏数据猿
国家数据局出手，数据圈迎来“淘汰赛”？
“国家数据局发布了首批104个高质量数据集典型案例。 大模型的发展，催生了高质量数据集的迫切需求。近日，国家数据局发布了首批104个高质量数据集典型案例。 同理，海量原始数据也需要经过“炼化”，形成高质量数据集，才能真正有效地应用于大模型训练。 数据集，亦称资料集、数据集合或资料集合，是由数据构成的集合。 来源：国家数据局官网 在国内典型案例中，以通信领域数据集为例，中国移动通过整合运营商8类核心数据（如基站信号强度、用户行为轨迹），并融合政务、互联网等外部数据，构建起包含650TB多源数据的“九天大模型 例如，四川省数据局发布的地震监测预报预警多模态联合数据集；云南省数据局的云南动物资源多模态高质量数据集构建及应用项目。
29410编辑于 2025-10-21 - 来自专栏生信情报站
R 数据可视化 03 | 圈图
文章目录 一、环境需求 R 及 Rstudio 的安装配置 RCircos安装 二、绘制圈图 0.载入包 1.绘制人染色体圈图 2.绘制基因 5.绘制折线图 6.绘制网络图 7.添加和弦图 install.packages("BiocManager") library(BiocManager) # 方法一 BiocManager::install("RCircos",ask = F,update = F) 二、绘制圈图 0.载入包 rm(list=ls()) # 载入包 library(RCircos) 1.绘制人染色体圈图 # 绘制人染色体圈图 ---------------------------------- data(RCircos.Histogram.Data); # 指定以第4列数据做为图形中直方的纵坐标 data.col <- 4; # 指定图形在第8个环形生成 track.num <- 8; # 会在根目录发现导出的圈图 ?
1.3K10发布于 2021-01-12 - 来自专栏腾讯研究院的专栏
德国：让大数据与工业4.0发生协同效应
本篇就带我们一窥究竟，解读德国的“智慧大数据”。 在大数据迅速发展的背景下，德国经济和能源部为更好开发德国大数据的未来市场，支持大数据相关技术的研发创新，启动了“智慧数据—来自数据的创新”项目。 德国的IT企业、研究机构和大数据领域的企业都摩拳擦掌、跃跃欲试，力促德国发展成为数据管理和分析系统领域的领头羊。 一、“智慧数据”主要做什么？ 二、“智慧数据”可与工业4.0等项目产生协同效应 德国“智慧数据”技术项目紧紧围绕其ICT战略“数码德国2015”所设定的目标展开，同时以《高技术战略2020》中提出的“以互联网服务促经济发展” 五、德国“智慧数据”行动具有必要性 德国“智慧数据”行动的必要性，主要体现在三个方面：一是开发商业模式，二是优化发展环境，三是以数据促进工业发展。
1.2K50发布于 2018-01-31 - 来自专栏阿黎逸阳的代码
爬取娱乐圈排行榜数据
想关注你的爱豆最近在娱乐圈发展的怎么样吗？本文和你一起爬取娱乐圈的排行榜数据，来看看你的爱豆现在排名变化情况，有几次登顶，几次进了前十名呀。 如果我们想一个一个复制这些数据，再进行分析，估计要花一天的时间，才可以把明星的各期排行数据处理好。估计会处理到崩溃，还有可能会因为人为原因出错。 而用爬虫，半个小时不到就可以处理好这些数据。 接下来看看怎么把这些数据用Python爬下来吧。 二、先来看下爬取后数据的部分截图 1 男明星人气榜数据 ? 2 女明星人气榜数据 ? 注2：如果对Requests库不了解，可以参见本公众号中文章【Python】【爬虫】Requests库详解 2 把爬取到的数据整合到一个数据框中 #把爬取的数据整合到数据框中 import re 本段代码是反复调用爬虫函数获取页面数据，并用append整合到一个数据框中。
72930发布于 2020-09-08 - 来自专栏大数据开发
大数据Spark框架：Spark生态圈入门
今天我们就来讲讲Spark生态圈入门。 Spark生态圈核心组件 围绕Spark，技术生态圈也不断完善，生态圈的各个组件，在Spark Core的支持下，能够满足更多实际业务场景下的数据处理需求。 生态圈其他组件 前面所讲的是Spark当中需要掌握的重点组件，而除此之外，还有Tachyon、BlinkDB、Mesos等组件，也提供相应的支持。 关于大数据Spark框架，Spark生态圈入门，以上就为大家做了一个简单的介绍了。 Spark在大数据领域当中，占据着明显的市场规模，而学习大数据，Spark及其生态圈，是需要掌握的重点内容，需加以重视。
1.3K30发布于 2020-10-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号