首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏数据科学和人工智能

    数据集 | 德国能源数据

    下载数据集请登录爱数科(www.idatascience.cn) 德国2006年至2017年的能源生产及消耗数据集,该数据集包括德国全国范围内的电力消耗,风能发电和太阳能发电总量等,单位为GWh。 数据预览 3. 字段诊断信息 4. 数据来源 https://open-power-system-data.org/

    1.5K20编辑于 2022-03-30
  • 来自专栏量子位

    德国时尚的科学家们推出基准数据集,全是衣裤鞋包

    李林 编译整理 量子位 报道 | 公众号 QbitAI MNIST,是一个手写数字数据集,除了用在机器学习入门的教学中,它还是对机器学习算法进行基准测试的常用数据集。 今天,德国研究机构Zalando Research在GitHub上发布了一个名叫Fashion-MNIST的数据集,其中训练集包含60000个样例,测试集包含10000个样例,分为10类。 除了内容不一样,这个数据集的图片尺寸、训练/测试集划分、文件的存储结构,都和MNIST一模一样。 Zalando Research在这个数据集的说明中称,AI/机器学习/数据科学界的同学们搞出一个新算法之后,往往会先在MNIST上做基准测试,来验证这个算法。 这次推出fashion-MNIST,想要取代MNIST的是德国研究机构Zalando Research,隶属于主营衣服鞋子的德国电商公司Zalando。

    1K70发布于 2018-03-27
  • 大唐移动在德国起诉小米侵犯4G专利

    6月12日消息,据知识产权媒体IP Fray报道,德国慕尼黑地方法院的一名发言人证实,中国通信厂商大唐移动已经在德国法院对小米发起了三项4G相关专利诉讼。 值得一提的是,在2024年5月,慕尼黑地区法院就曾认定三星电子侵犯了大唐移动通信设备有限公司所拥有的第EP2237607号专利,而且目前不得在德国销售支持4G的移动设备。 三星在德国法院颁发禁令后不久,就与大唐移动达成了许可。 2025年4月22日,大唐移动母公司中信科移动官方宣布大唐移动已经与联想达成全球专利交叉许可协议。 此次大唐移动起诉小米侵犯4G专利之时,恰巧小米发布自研的4G手表芯片玄戒T1之后之后不久,不过此次诉讼可能与该4G芯片无关,毕竟目前基于该芯片的产品尚未在德国进行销售。

    16110编辑于 2026-03-19
  • 来自专栏钱塘大数据

    数据开放与共享:德国工业4.0中的大数据

    到2020年大数据技术预计将为欧盟创造GDP达到9570亿欧元,增加就业人数380万。作为欧洲国家的领军代表,德国政府在2013年4月就提出了“工业4.0”的概念。 该项目由德国联邦教研部与联邦经济技术部联手资助,在德国工程院、Fraunhofer(弗劳恩霍夫)协会、西门子公司等德国学术界和产业界的建议和推动下形成,并已上升为国家级战略。 它在德国工业4.0项目中,启动和领导了德国工业数字化创新的工业数据空间子项目(IDS),该子项目专注于跨行业数据代理交换和数据应用。 但是数据所有权问题是个深刻的法律问题,即使在欧洲也没有真正解决如病历资料到底是属于医生、医院还是病人这样的问题。出于务实考虑,德国的专家们提出了数据合法的掌握者决定数据的使用条款与条件。 请进来,走出去 相比于德国工业4.0中的大数据项目,我们的差距在于:出于防止数据扩散,用户个人信息受到侵犯,数据价值无法持久化等考虑,我们在数据对外合作方面往往采取的是“请进来”的方式,即我所掌握的数据不出户

    2.1K50发布于 2018-02-28
  • 来自专栏智能仓储物流技术研习社

    044|前沿|4|解密一项“工业4.0德国物流黑科技”

    今天记得是好像去年这个时候,有一条刷爆朋友的文章,题目叫“物流黑科技,德国再出颠覆性发明”,大概是这样的一款设备: 这套系统是来自德国的,名字叫cellueyor,是一套模块化的输送系统 由于每个模块只能与周边的4个模块进行通讯,后续的这4个模块继续自我判断与自己的后4个相邻模块进行通讯,直至形成一个可运行的路径。 比如我们手机的APP,用户在APP上操作的所有的数据都要通过wifi或者4G网络上传给这款APP的背后运营商的服务器,服务器根据手机APP发送的请求,针对性的将数据再下发给APP便于用户查看。 数据通讯 -现场总线 在像cognilog输送系统里类似的网络结构,每个模块周边最多可以连接4个其他模块。而在实际中,有些位置可能周边没有模块。 不论是德国的cognilog输送系统还是之前提到的 cellueyor输送系统 ,都是高度模块化和高度柔性化系统的有益尝试和前沿研究。

    83010发布于 2020-04-09
  • 来自专栏Spark学习技巧

    数据还能混吗?

    工作这么多年,浪尖一直从事大数据相关的架构设计,计算框架的二次开发,尤其是实时计算框架,最近两年在搞实时数仓和数据分析,浪尖算是跟着大数据生态成长起来的老人了。 目前,大数据能做的或者还在折腾的方向基本就是: 1.数仓建设,大都是是 lamda 架构,也即是离线+实时数仓。这也是 lamda 架构演进的第二阶段。 2.通过湖仓一体,来实现离线和实时统一。 典型的组合是 flink+hudi,感觉还是 flink 发展带动的,目前问题比较多,比如血缘追踪,数据修正等。需配合一些 olap 框架,如 presto 和 ck。 4.平台二次开发,中小公司都不会去做,都上云了,大公司也做的差不多了,没啥可做的了!框架成熟度比较高了,频繁升级的必要性在降,但成本没降反升。 5.数据开发,主要是 etl,特征抽取,sql 取数 boy 啥的,这类工作可替代性太强薪水上不去的,3-5 年以内的可以搞搞;5 年以上 希望大家远离吧,尽早提升。

    40120编辑于 2023-10-07
  • 来自专栏速入大数据

    从朋友数据:社交媒体数据如何定义我们的世界?

    从朋友数据:社交媒体数据如何定义我们的世界?近年来,大数据与社交媒体之间的交叉分析正在改变我们对世界的认知。 每天,数十亿用户通过微博、朋友、抖音等社交平台分享个人动态,这些数据不仅记录了我们生活的点滴,还成为了研究群体行为的宝贵财富。然而,如何在海量数据中找到洞见并实现价值转化? 社交媒体数据的特点社交媒体数据与传统数据相比,呈现以下几个鲜明特点:规模巨大:每秒钟都有数千条推文发布、数百张图片上传。非结构化数据为主:文本、图像、视频等多种数据形式并存。 值得关注的挑战尽管社交媒体数据蕴藏巨大潜力,但其使用也面临一些亟待解决的问题:隐私问题:过度分析个人数据可能侵犯隐私权。信息过滤效应:推荐算法可能导致信息孤岛,难以接触到多元观点。 噪声数据:海量数据中隐藏了大量无关信息,如何清洗与提取关键数据是一大难点。展望未来随着自然语言处理、深度学习等技术的成熟,大数据与社交媒体分析的结合将更加紧密。

    46410编辑于 2025-03-19
  • 来自专栏FPGA技术江湖

    IC技术期刊 2021年第4

    “煮酒言欢”进入IC技术,这里有近50个IC技术公众号。 IC技术期刊内容涵盖FPGA、前端、验证、后端、自动化、模拟、求职、管理等IC技术领域,欢迎阅读,欢迎投稿。 ACE吧 老秦谈芯 ARM系列 -- ACE(二) #前端 #ARM #ACE 一起来看看ACE吧 老秦谈芯 ARM系列 -- ACE(三) #前端 #ARM #ACE 一起来看看ACE吧 老秦谈芯 数据存储和传输的大小端问题 #验证 #IC设计#IC验证# 详细解读了数字IC设计与数字IC验证的区别、前景等等 ZYNQ 数据存储和传输的大小端问题 #验证 #前端 吃茶叶蛋的时候,你会先磕破鸡蛋比较小的那一端,还是比较大的那一端 FPGA探索者 特别推荐 IC技术 致力于建立知识、人的联系,内容涵盖FPGA、前端、验证、自动化、模拟、求职、管理等IC技术领域。这里有近50个IC技术公众号,持续更新,欢迎关注!

    96830发布于 2021-05-14
  • 来自专栏钱塘大数据

    数据生态就是一个厨房工具生态

    导读:大数据生态就是一个厨房工具生态。为了做不同的菜,中国菜,日本菜,法国菜,你需要各种不同的工具。

    979130发布于 2018-03-02
  • 来自专栏刷题笔记

    【并查集】2-4 朋友 (25 分)

    2-4 朋友 (25 分) 某学校有N个学生,形成M个俱乐部。每个俱乐部里的学生有着一定相似的兴趣爱好,形成一个朋友。一个学生可以同时属于若干个不同的俱乐部。 请编写程序计算最大朋友中有多少人。 输入格式: 输入的第一行包含两个正整数N(≤30000)和M(≤1000),分别代表学校的学生总数和俱乐部的个数。 后面的M行每行按以下格式给出1个俱乐部的信息,其中学生从1~N编号: 第i个俱乐部的人数Mi(空格)学生1(空格)学生2 … 学生Mi 输出格式: 输出给出一个整数,表示在最大朋友中有多少人。 输入样例: 7 4 3 1 2 3 2 1 4 3 5 6 7 1 6 输出样例: 4 总算抽空写了一下并查集。 Max:p[r]; }printf("%d\n",Max); return 0; } 总结这种题目一般都是有套路,需要两个函数一个是查找父亲,同时更新和优化数据 int Find(int x){

    1K10发布于 2020-06-23
  • 来自专栏公众号:Lucifer三思而后行

    数据生态如何入门?

    数据技术在企业项目开发中主要涉及数据采集、数据存储和数据计算三个方面:数据采集是利用采集技术将各种数据源、不同格式的数据快速采集到大数据平台。 数据存储是将采集过来的数据,按照不同应用场景,使用不同技术进行存储,为数据计算做准备。数据计算可以根据数据的时效性,对存储的数据进行离线计算和实时计算,最终的计算结果可以为企业决策提供数据支撑。 数据采集、数据存储和数据计算这三个方面是大数据工程师的必备技能。 大数据不是一项专门的技术,而是很多技术的综合应用。可以通过一系列大数据技术对海量数据进行分析,挖掘出数据背后的价值。 数据从总体上可以分为结构化数据和非结构化数据。结构化数据也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。 数据获取 数据总体可分为结构化数据和非结构化数据。结构化数据也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格遵循数据的字段类型和长度限制,主要通过关系型数据库进行存储和管理。

    57311编辑于 2022-04-13
  • 来自专栏全栈程序员必看

    数据Hadoop生态介绍

    数据Hadoop生态-组件介绍 Hadoop是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。 随着处理任务不同,各种组件相继出现,丰富Hadoop生态,目前生态结构大致如图所示: 根据服务对象和层次分为:数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层 接下来对Hadoop生态中出现的相关组件做一个简要介绍。 1、HDFS(分布式文件系统) HDFS是整个hadoop体系的基础,负责数据的存储与管理。 GraphX扩展了RDD API,包含控制图、创建子图、访问路径上所有顶点的操作 4、Flink(分布式计算框架) Flink是一个基于内存的分布式并行处理框架,类似于Spark,但在部分设计思想有较大出入 它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流,在具体的数据流中,数据源支持在Flume中定制数据发送方,从而支持收集各种不同协议数据

    1.4K20编辑于 2022-08-25
  • 来自专栏python与大数据分析

    关于neo4j图数据库笔记四-交往和六度模型

    交往无论是在运营商还是在社交平台都发挥着举足轻重的作用,但交往由于其数据量庞大,社会交往关系网错综复杂,假设一个人平均交往10个人的话,6度模型扩散出去至少可以达到10万级,而运营商/社交平台的用户数都是百万级甚至数亿 ,由此形成的交往关系可达到数万亿,这样的数据量和运算量在关系数据库、在大数据平台中基本都是无法做到的。 neo4j提供了这种计算能力和扩展能力,本文的样例数据来自于《Neo4j权威指南》,本人也做了一些补充。 (小兰:朋友{姓名:"小兰"}), (小峰:朋友{姓名:"小峰"}), (小讯:朋友{姓名:"小讯"}), (小东:朋友{姓名:"小东"}), (小唯:朋友{姓名:"小唯"}), (小窦:朋友 MATCH (n) RETURN n MATCH n=(:朋友{姓名:"小峰"})-[*..6]-() RETURN n 由于数据量不大,交往尚未达到6度,所以返回六度数据等同于所有交往 展示一度关系

    81320编辑于 2022-03-11
  • 来自专栏大数据文摘

    德国竟然愿意拿国民数据与之交换!

    数据文摘编辑,素材来自freebuf.com,环球时报,英国卫报,观察网guancha.cn,转载请注明 德国联邦宪法保卫局交换意愿 德国顶级情报机构向美国国家安全局递交了德国国民的元数据,仅仅是为了得到 德国BfV拿国民元数据交换NSA的监视软件 据德国媒体Die Zei得到的文件称,德国联邦宪法保卫局(BfV)拿其国民的数据与美国国家安全局进行交易,以得到NSA的监视系统。 【看看NSA的售前能力,哦,当然,人家产品也确实牛】 经过长达2年的谈判,双方最终签署了一份合约,德国可以获得NSA的Xkeyscore副本,用于分析德国公民的数据。 但是条件是,德国情报机构需要将公民的元数据共享给美方。 Die Zei获得的文件中有一条是:BfV方的责任是:最大限度的分享所有数据给NSA。 德国数据保护委员会和议院并不知情 BfV既没有完全将这件事通知给德国数据保护委员会,也没有通知Parliamentary Control Panel。

    1.4K30发布于 2018-05-23
  • 来自专栏大数据文摘

    德国情报机构再次与NSA合作,共享公民数据

    内部文件显示,德国情报机构——宪法保护联邦办公室(BfV)从美国NSA处获得了XKeyscore软件,交换条件是把德国国民数据发送给NSA总部。 德国情报机构与NSA协议交换公民数据 时光倒回到2011年,NSA给德国情报机构(BfV)演示了XKeyscore软件的能力。 两年之后,BfV与NSA进行协商,最终BfV签署了一份协议,德国可以得到NSA的间谍软件,并允许他们安装使用;但条件是必须要把德国情报机构搜集到的国民元数据共享给NSA。 据《时代周刊》报道,“Terms of Reference”文件中指出,BfV的职责是最大程度的分享与NSA有关的数据。 现如今,德国的BND情报机构又重新获得NSA支持,对网民实施网络监控。 相爱相杀的美国和德国 NSA对德国的监视行为可以追溯到20世纪90年代,当时NSA主要监视的是德国财政部官员的手机,从中窃取一些机密信息。

    75930发布于 2018-05-23
  • 来自专栏数据猿

    德国Fraunhofer协会推动欧洲数据开放与共享的案例实践

    <数据猿导读> 德国Fraunhofer协会依托IAIS研究所(智能分析和信息系统,世界最知名的数据科学研究机构之一),在数据挖掘、机器学习、语义技术、信息检索、软件工程等方面开展了很多卓有成效的工作, 德国Fraunhofer 协会旨在推进行业间的大数据共享,在欧洲,Fraunhofer结合大规模工业应用进行前沿研究,为各大门户网站提供数据(如德国国家数据门户,欧洲委员会数据门户和泛欧洲数据门户等等) 该门户不需要数据复制,可以单点访问欧盟数据目录(分离原始数据和元数据,保留逻辑关系),使得区域数据可以浏览、探索,并为数据用户提供许可信息,方便欧洲国家间的数据信息相互访问。 IAIS的客户分布的各个行业,如电信业(三星、沃达丰、诺基亚西门子),金融服务和保险业(安联,德国商业银行),出版传播业(Springer、Zeit),零售业(REWE,道格拉斯),物流行业(Deutsche 通过这种商业性网络顾问和CRM数据库的合作形式,IAIS跟德国所有大公司就建立了很强的数据联系,同时与中小企业及初创企业建立强大的关联。

    1.1K50发布于 2018-04-19
  • 来自专栏数据猿

    国家数据局出手,数据迎来“淘汰赛”?

    “国家数据局发布了首批104个高质量数据集典型案例。 大模型的发展,催生了高质量数据集的迫切需求。近日,国家数据局发布了首批104个高质量数据集典型案例。 同理,海量原始数据也需要经过“炼化”,形成高质量数据集,才能真正有效地应用于大模型训练。 数据集,亦称资料集、数据集合或资料集合,是由数据构成的集合。 例如,四川省数据局发布的地震监测预报预警多模态联合数据集;云南省数据局的云南动物资源多模态高质量数据集构建及应用项目。 针对青藏高原极高海拔、极寒气温和极干旱的环境挑战,该数据集综合整合了卫星遥感数据、地面台站观测数据以及无人机采集数据,构建形成了规模达600TB的多圈层综合数据产品。

    29410编辑于 2025-10-21
  • 来自专栏芯智讯

    若禁用华为5G设备,德国联邦铁路公司将损失4亿欧元

    8月7日消息,据德国《明镜周刊》于当地时间4日报道,德国国有铁路运营商——德国联邦铁路公司(DB)披露的一份内部文件显示,如果更换由中国科技巨头华为其基础设施提供的所有部件,该公司将不得不多花费4亿欧元 文件称,仅在德国北部就有多达 800 个基站需要更换。而就在几个月前,德国联邦铁路公司还向广泛使用华为设备的德国电信授予了价值 6400 万欧元的网络现代化合同。 今年3月7日,中国驻德大使馆曾回应,欧盟方面的数据显示,华为在德国5G网络的设备中占比近六成,为德国通信基础设施建设作出了积极贡献。 这也使得德国的处境变得尤为尴尬。 但是如果要拆除并更换所有这些设备,无疑是一项代价高昂的工作。德国经济部在今年3月份强调了这一事实。 但是,德国《商报》显示,德国三大手机网络运营商对此持保留态度,因为更换这些设备将会带来巨大的损失。德国电信发言人说:“我们使用的所谓关键部件,是在自查和检查、获得联邦内政部和下属机构的许可后使用的。”

    32820编辑于 2023-09-07
  • 来自专栏生信情报站

    R 数据可视化 03 |

    文章目录 一、环境需求 R 及 Rstudio 的安装配置 RCircos安装 二、绘制图 0.载入包 1.绘制人染色体图 2.绘制基因 5.绘制折线图 6.绘制网络图 7.添加和弦图 0.载入包 rm(list=ls()) # 载入包 library(RCircos) 1.绘制人染色体图 # 绘制人染色体图 ---------------------------------- 4.绘制散点图 # 添加散点图类型的环形 ------------------------------------------------------------- # 加载内置的RCircos.Scatter.Data data(RCircos.Histogram.Data); # 指定以第4数据做为图形中直方的纵坐标 data.col <- 4; # 指定图形在第8个环形生成 track.num <- 8; # 会在根目录发现导出的图 ?

    1.3K10发布于 2021-01-12
  • 来自专栏腾讯研究院的专栏

    德国:让大数据与工业4.0发生协同效应

    本篇就带我们一窥究竟,解读德国的“智慧大数据”。    在大数据迅速发展的背景下,德国经济和能源部为更好开发德国数据的未来市场,支持大数据相关技术的研发创新,启动了“智慧数据—来自数据的创新”项目。 德国的IT企业、研究机构和大数据领域的企业都摩拳擦掌、跃跃欲试,力促德国发展成为数据管理和分析系统领域的领头羊。 一、“智慧数据”主要做什么?    五、德国“智慧数据”行动具有必要性   德国“智慧数据”行动的必要性,主要体现在三个方面:一是开发商业模式,二是优化发展环境,三是以数据促进工业发展。    4.智慧数据对于工业、交通、能源、医疗等领域意义重大   在经济领域,“智慧数据”项目能够进一步改造和提升传统产业领域。

    1.2K50发布于 2018-01-31
领券