- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据科学和人工智能
数据集 | 德国能源数据
下载数据集请登录爱数科(www.idatascience.cn) 德国2006年至2017年的能源生产及消耗数据集，该数据集包括德国全国范围内的电力消耗，风能发电和太阳能发电总量等，单位为GWh。 数据预览 3. 字段诊断信息 4. 数据来源 https://open-power-system-data.org/
1.5K20编辑于 2022-03-30 - 来自专栏量子位
德国时尚圈的科学家们推出基准数据集，全是衣裤鞋包
李林 编译整理 量子位 报道 | 公众号 QbitAI MNIST，是一个手写数字数据集，除了用在机器学习入门的教学中，它还是对机器学习算法进行基准测试的常用数据集。 今天，德国研究机构Zalando Research在GitHub上发布了一个名叫Fashion-MNIST的数据集，其中训练集包含60000个样例，测试集包含10000个样例，分为10类。 除了内容不一样，这个数据集的图片尺寸、训练/测试集划分、文件的存储结构，都和MNIST一模一样。 Zalando Research在这个数据集的说明中称，AI/机器学习/数据科学界的同学们搞出一个新算法之后，往往会先在MNIST上做基准测试，来验证这个算法。 这次推出fashion-MNIST，想要取代MNIST的是德国研究机构Zalando Research，隶属于主营衣服鞋子的德国电商公司Zalando。
1K70发布于 2018-03-27 - 来自专栏钱塘大数据
数据开放与共享：德国工业4.0中的大数据
2015年9月，国务院印发了《促进大数据发展行动纲要的通知》，纲要要求在2018年底前要建成国家政府数据统一开放平台，率先在信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、资源、农业、环境、 该项目由德国联邦教研部与联邦经济技术部联手资助，在德国工程院、Fraunhofer(弗劳恩霍夫)协会、西门子公司等德国学术界和产业界的建议和推动下形成，并已上升为国家级战略。 它在德国工业4.0项目中，启动和领导了德国工业数字化创新的工业数据空间子项目(IDS)，该子项目专注于跨行业数据代理交换和数据应用。 但是数据所有权问题是个深刻的法律问题，即使在欧洲也没有真正解决如病历资料到底是属于医生、医院还是病人这样的问题。出于务实考虑，德国的专家们提出了数据合法的掌握者决定数据的使用条款与条件。 请进来，走出去 相比于德国工业4.0中的大数据项目，我们的差距在于：出于防止数据扩散，用户个人信息受到侵犯，数据价值无法持久化等考虑，我们在数据对外合作方面往往采取的是“请进来”的方式，即我所掌握的数据不出户
2.1K50发布于 2018-02-28 - 来自专栏Spark学习技巧
大数据圈还能混吗？
工作这么多年，浪尖一直从事大数据相关的架构设计，计算框架的二次开发，尤其是实时计算框架，最近两年在搞实时数仓和数据分析，浪尖算是跟着大数据生态成长起来的老人了。 目前，大数据能做的或者还在折腾的方向基本就是： 1.数仓建设，大都是是 lamda 架构，也即是离线+实时数仓。这也是 lamda 架构演进的第二阶段。 2.通过湖仓一体，来实现离线和实时统一。 典型的组合是 flink+hudi，感觉还是 flink 发展带动的，目前问题比较多，比如血缘追踪，数据修正等。需配合一些 olap 框架，如 presto 和 ck。 5.数据开发，主要是 etl，特征抽取，sql 取数 boy 啥的，这类工作可替代性太强薪水上不去的，3-5 年以内的可以搞搞；5 年以上 希望大家远离吧，尽早提升。
40120编辑于 2023-10-07 - 来自专栏速入大数据
从朋友圈到数据圈：社交媒体数据如何定义我们的世界？
从朋友圈到数据圈：社交媒体数据如何定义我们的世界？近年来，大数据与社交媒体之间的交叉分析正在改变我们对世界的认知。 每天，数十亿用户通过微博、朋友圈、抖音等社交平台分享个人动态，这些数据不仅记录了我们生活的点滴，还成为了研究群体行为的宝贵财富。然而，如何在海量数据中找到洞见并实现价值转化？ 社交媒体数据的特点社交媒体数据与传统数据相比，呈现以下几个鲜明特点：规模巨大：每秒钟都有数千条推文发布、数百张图片上传。非结构化数据为主：文本、图像、视频等多种数据形式并存。 值得关注的挑战尽管社交媒体数据蕴藏巨大潜力，但其使用也面临一些亟待解决的问题：隐私问题：过度分析个人数据可能侵犯隐私权。信息过滤效应：推荐算法可能导致信息孤岛，难以接触到多元观点。 噪声数据：海量数据中隐藏了大量无关信息，如何清洗与提取关键数据是一大难点。展望未来随着自然语言处理、深度学习等技术的成熟，大数据与社交媒体分析的结合将更加紧密。
46410编辑于 2025-03-19 - 来自专栏sktj
Kubernetes(9:数据)
作用是在Pod中共享数据 创建Pod，volumeMounts ? image.png emptyDir是Host上创建的临时目录，其优点是能够方便地为Pod中的容器提供共享存储，不需要额外的配置。
41520发布于 2019-09-24 - 来自专栏mysql
hhdb数据库介绍(9-9)
高可用服务读写分离计算节点支持读写分离功能，并且支持配置读写分离权重读写分离功能说明要使用读写分离功能，需在数据节点中配置主备存储节点。读写分离功能默认设置为关闭。 -- 不开启读写分离：0；可分离的读请求发往所有可用数据源：1；可分离的读请求发往可用备数据源：2；事务中发生写前的读请求发往可用备数据源：3--><property name="weightForSlaveRWSplit strategyForRWSplit参数为1时可设置主备存储节点的读比例，设置备存储节点读比例后<em>数据</em>节点下的所有备存储节点均分该比例的读任务。 strategyForRWSplit参数为2时<em>数据</em>节点上的所有可分离的读任务会自动均分至该<em>数据</em>节点下的所有备存储节点上，若无备存储节点则由主存储节点全部承担。 用户级别的读写分离可通过管理平台创建<em>数据</em>库用户页面添加用户或编辑用户开启用户级别的读写分离。
23110编辑于 2024-11-29 - 来自专栏钱塘大数据
大数据生态圈就是一个厨房工具生态圈
导读：大数据生态圈就是一个厨房工具生态圈。为了做不同的菜，中国菜，日本菜，法国菜，你需要各种不同的工具。
979130发布于 2018-03-02 - 来自专栏公众号：Lucifer三思而后行
大数据生态圈如何入门？
大数据技术在企业项目开发中主要涉及数据采集、数据存储和数据计算三个方面：数据采集是利用采集技术将各种数据源、不同格式的数据快速采集到大数据平台。 数据存储是将采集过来的数据，按照不同应用场景，使用不同技术进行存储，为数据计算做准备。数据计算可以根据数据的时效性，对存储的数据进行离线计算和实时计算，最终的计算结果可以为企业决策提供数据支撑。 数据采集、数据存储和数据计算这三个方面是大数据工程师的必备技能。 大数据不是一项专门的技术，而是很多技术的综合应用。可以通过一系列大数据技术对海量数据进行分析，挖掘出数据背后的价值。 数据从总体上可以分为结构化数据和非结构化数据。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。 数据获取 数据总体可分为结构化数据和非结构化数据。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格遵循数据的字段类型和长度限制，主要通过关系型数据库进行存储和管理。
57311编辑于 2022-04-13 - 来自专栏技术集锦
练习9—数据计算
题目 写一个简单的函数实现下面的功能：具有三个参数，完成对两个整型数据的加、减、乘、除四种操作，前两个为操作数，第三个参数为字符型的参数。 ; } 说明 注意switch-case语句中case处的数据类型，因为设定了变量c为char类型，所以需要使用 c = input.next().charAt(0) 语句接收用户键盘上的单个字符输入
30720编辑于 2022-06-03 - 来自专栏全栈程序员必看
大数据Hadoop生态圈介绍
大数据Hadoop生态圈-组件介绍 Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。 随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 根据服务对象和层次分为：数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层 接下来对Hadoop生态圈中出现的相关组件做一个简要介绍。 1、HDFS（分布式文件系统） HDFS是整个hadoop体系的基础，负责数据的存储与管理。 9、HBase（分布式列存储数据库） HBase是一个建立在HDFS之上，面向列的针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。 它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。
1.4K20编辑于 2022-08-25 - 来自专栏大数据文摘
德国竟然愿意拿国民数据与之交换！
大数据文摘编辑，素材来自freebuf.com，环球时报，英国卫报，观察网guancha.cn，转载请注明 德国联邦宪法保卫局交换意愿 德国顶级情报机构向美国国家安全局递交了德国国民的元数据，仅仅是为了得到 德国BfV拿国民元数据交换NSA的监视软件 据德国媒体Die Zei得到的文件称，德国联邦宪法保卫局（BfV）拿其国民的数据与美国国家安全局进行交易，以得到NSA的监视系统。 【看看NSA的售前能力，哦，当然，人家产品也确实牛】 经过长达2年的谈判，双方最终签署了一份合约，德国可以获得NSA的Xkeyscore副本，用于分析德国公民的数据。 但是条件是，德国情报机构需要将公民的元数据共享给美方。 Die Zei获得的文件中有一条是：BfV方的责任是：最大限度的分享所有数据给NSA。 德国数据保护委员会和议院并不知情 BfV既没有完全将这件事通知给德国的数据保护委员会，也没有通知Parliamentary Control Panel。
1.4K30发布于 2018-05-23 - 来自专栏大数据文摘
德国情报机构再次与NSA合作，共享公民数据
内部文件显示，德国情报机构——宪法保护联邦办公室（BfV）从美国NSA处获得了XKeyscore软件，交换条件是把德国国民数据发送给NSA总部。 德国情报机构与NSA协议交换公民数据 时光倒回到2011年，NSA给德国情报机构（BfV）演示了XKeyscore软件的能力。 两年之后，BfV与NSA进行协商，最终BfV签署了一份协议，德国可以得到NSA的间谍软件，并允许他们安装使用；但条件是必须要把德国情报机构搜集到的国民元数据共享给NSA。 据《时代周刊》报道，“Terms of Reference”文件中指出，BfV的职责是最大程度的分享与NSA有关的数据。 现如今，德国的BND情报机构又重新获得NSA支持，对网民实施网络监控。 相爱相杀的美国和德国 NSA对德国的监视行为可以追溯到20世纪90年代，当时NSA主要监视的是德国财政部官员的手机，从中窃取一些机密信息。
75930发布于 2018-05-23 - 来自专栏数据猿
德国Fraunhofer协会推动欧洲数据开放与共享的案例实践
<数据猿导读> 德国Fraunhofer协会依托IAIS研究所(智能分析和信息系统，世界最知名的数据科学研究机构之一)，在数据挖掘、机器学习、语义技术、信息检索、软件工程等方面开展了很多卓有成效的工作， 德国Fraunhofer 协会旨在推进行业间的大数据共享，在欧洲，Fraunhofer结合大规模工业应用进行前沿研究，为各大门户网站提供数据(如德国国家数据门户，欧洲委员会数据门户和泛欧洲数据门户等等) 该门户不需要数据复制，可以单点访问欧盟数据目录(分离原始数据和元数据，保留逻辑关系)，使得区域数据可以浏览、探索，并为数据用户提供许可信息，方便欧洲国家间的数据信息相互访问。 IAIS的客户分布的各个行业，如电信业(三星、沃达丰、诺基亚西门子)，金融服务和保险业(安联，德国商业银行)，出版传播业(Springer、Zeit)，零售业(REWE，道格拉斯)，物流行业(Deutsche 通过这种商业性网络顾问和CRM数据库的合作形式，IAIS跟德国所有大公司就建立了很强的数据联系，同时与中小企业及初创企业建立强大的关联。
1.1K50发布于 2018-04-19 - 来自专栏数据猿
国家数据局出手，数据圈迎来“淘汰赛”？
“国家数据局发布了首批104个高质量数据集典型案例。 大模型的发展，催生了高质量数据集的迫切需求。近日，国家数据局发布了首批104个高质量数据集典型案例。 同理，海量原始数据也需要经过“炼化”，形成高质量数据集，才能真正有效地应用于大模型训练。 数据集，亦称资料集、数据集合或资料集合，是由数据构成的集合。 例如，四川省数据局发布的地震监测预报预警多模态联合数据集；云南省数据局的云南动物资源多模态高质量数据集构建及应用项目。 针对青藏高原极高海拔、极寒气温和极干旱的环境挑战，该数据集综合整合了卫星遥感数据、地面台站观测数据以及无人机采集数据，构建形成了规模达600TB的多圈层综合数据产品。
29410编辑于 2025-10-21 - 来自专栏VRPinea
9月VR圈以硬件技术消息为主，元宇宙热度居高不下
（啥也不是……） 除了上述信息以外，P君已将9月VR圈大事件整理完毕，小伙伴们注意查收哦~ 硬件技术及产品 Facebook发布智能眼镜 9月9日，Facebook发布了首款智能眼镜产品。 其芯片具有更好的无线数据传输、压缩和解压缩以及能效特性。除此之外，苹果还完成了头显的图像传感器，及显示驱动程序的设计。 值得一提的是，这些都是根据现实世界的数据所设计的，每个物种都将更真实。 此外，为保证研究的独立性，Facebook表示，只会向研究人员提供资金，并不会提供数据。 Epic Games对结果不满 并提起上诉 Epic Games和苹果的法律战暂告一断落。 9月VR圈发生的大事，P君都已整理完毕。虽然苹果的秋季发布会没有带来苹果VR的新消息，但Epic Games对苹果的起诉还在继续。
79620发布于 2021-10-20 - 来自专栏CSDN搜“看，未来”
数据结构（9）-- 跳表
文章目录 跳表 跳表的搜索 跳表的插入 抛硬币 跳表的删除 跳表的代码实现 跳表数据结构 初始化跳表 插入节点 删除节点 销毁跳表 为什么Redis要用跳表来实现有序集合？ 跳表(skip list) 对应的是平衡树(AVL Tree)，是一种 插入/删除/搜索 都是 O(log n) 的数据结构。它最大的优势是原理简单、容易实现、方便扩展、效率更高。 节点，发现17比其大，向后搜索，发现6后面的节点指向了Nil(第4层)，那么搜索的层数降低1层， 从此节点的第3层开始搜索，发现下个节点是25，大于17，那么再降低一层，从2层开始搜索，发现第2层是9， 小于17，继续搜索，发现9节点的下一个数是17，搜索完成。 ---- 跳表的代码实现 跳表数据结构 如上图中的E节点，表示的是头节点，一般跳表的实现，最大有多少层(MAX_LEVEL)是确定的。所以e的个数是固定的。
50730发布于 2021-09-18 - 来自专栏机器学习/数据可视化
数据平滑9大妙招
今天给大家分享9大常见数据平滑方法：移动平均Moving Average指数平滑Exponential Smoothing低通滤波器多项式拟合贝塞尔曲线拟合局部加权散点平滑LoessKalman滤波小波变换 它对最近的数据点给予较高的权重，而对较早的数据点给予较低的权重。这使得EMA更适合用于追踪快速变化的数据。 指数平滑的主要特点包括：加权平滑：指数平滑使用指数权重来平滑数据。较新的数据点获得更高的权重，而较旧的数据点获得较低的权重。这意味着它对最近的数据更为敏感，从而更好地捕获了数据的最新趋势。 7, 8, 9])y = np.array([10, 8, 7, 6, 5, 4, 3, 2, 1])# 三阶多项式拟合degree = 3coefficients = np.polyfit(x, y 数据平滑：Savitzky-Golay滤波器旨在平滑数据，减小数据中的高频噪声和突发波动。它保留了数据中的趋势和主要特征，同时去除了噪声。
6K44编辑于 2023-10-13 - 来自专栏全栈程序员必看
Landsat 9 数据详细介绍
目录 1.基本情况 2.Landsat9数据介绍 2.1 Landsat系列波段信息图谱 2.2 Landsat9基本信息 2.2.1 Quick Facts 2.2.2 LANDSAT9 波段信息 ，实际于于2021年9月27日发射，并已经开始采集第一批数据，2021年10月31日获取到遥感数据。 Landsat 9 的 OLI-2 和 TIRS-2 的 14 位数据将其增加到 16,384 个数据值。 然而，不同之处在于，Landsat 9 将下行链接 OLI-2 产生的所有 14 位数据，与从 Landsat 8 的 OLI 下行链接的 12 位数据相比，为其图像提供更大的位深度。 Landsat9数据目前成处于检查期，后期将于USGS网站免费共享。
5.2K20编辑于 2022-09-15 - 来自专栏生信情报站
R 数据可视化 03 | 圈图
文章目录 一、环境需求 R 及 Rstudio 的安装配置 RCircos安装 二、绘制圈图 0.载入包 1.绘制人染色体圈图 2.绘制基因 5.绘制折线图 6.绘制网络图 7.添加和弦图 install.packages("BiocManager") library(BiocManager) # 方法一 BiocManager::install("RCircos",ask = F,update = F) 二、绘制圈图 0.载入包 rm(list=ls()) # 载入包 library(RCircos) 1.绘制人染色体圈图 # 绘制人染色体圈图 ---------------------------------- data(RCircos.Tile.Data); # 指定图形在第9个环形生成 track.num <- 9; # 指定图形在内侧环形生成 side <- "in"; # 绘图 RCircos.Tile.Plot 会在根目录发现导出的圈图 ?
1.3K10发布于 2021-01-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号