首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏数据科学和人工智能

    数据集 | 德国能源数据

    下载数据集请登录爱数科(www.idatascience.cn) 德国2006年至2017年的能源生产及消耗数据集,该数据集包括德国全国范围内的电力消耗,风能发电和太阳能发电总量等,单位为GWh。 数据预览 3. 字段诊断信息 4. 数据来源 https://open-power-system-data.org/

    1.5K20编辑于 2022-03-30
  • 来自专栏量子位

    德国时尚的科学家们推出基准数据集,全是衣裤鞋包

    李林 编译整理 量子位 报道 | 公众号 QbitAI MNIST,是一个手写数字数据集,除了用在机器学习入门的教学中,它还是对机器学习算法进行基准测试的常用数据集。 今天,德国研究机构Zalando Research在GitHub上发布了一个名叫Fashion-MNIST的数据集,其中训练集包含60000个样例,测试集包含10000个样例,分为10类。 除了内容不一样,这个数据集的图片尺寸、训练/测试集划分、文件的存储结构,都和MNIST一模一样。 Zalando Research在这个数据集的说明中称,AI/机器学习/数据科学界的同学们搞出一个新算法之后,往往会先在MNIST上做基准测试,来验证这个算法。 这次推出fashion-MNIST,想要取代MNIST的是德国研究机构Zalando Research,隶属于主营衣服鞋子的德国电商公司Zalando。

    1K70发布于 2018-03-27
  • 来自专栏芯片工艺技术

    德国Innolume公司

    德国Alexey:Innolume的历史要追溯到2003年。Innolume 从一开始的很长一段时间里就实现盈利,多年前营业收入就达到数百万欧元,现在继续保持年均增长40%的发展势头。 充分发挥理论优势需要数年的MBE(分子束外延)工艺开发、异质结构工程和器件优化,在Innolume的多特蒙德-德国fab。

    1.9K10编辑于 2022-06-06
  • 来自专栏钱塘大数据

    数据开放与共享:德国工业4.0中的大数据

    到2020年大数据技术预计将为欧盟创造GDP达到9570亿欧元,增加就业人数380万。作为欧洲国家的领军代表,德国政府在2013年4月就提出了“工业4.0”的概念。 该项目由德国联邦教研部与联邦经济技术部联手资助,在德国工程院、Fraunhofer(弗劳恩霍夫)协会、西门子公司等德国学术界和产业界的建议和推动下形成,并已上升为国家级战略。 它在德国工业4.0项目中,启动和领导了德国工业数字化创新的工业数据空间子项目(IDS),该子项目专注于跨行业数据代理交换和数据应用。 但是数据所有权问题是个深刻的法律问题,即使在欧洲也没有真正解决如病历资料到底是属于医生、医院还是病人这样的问题。出于务实考虑,德国的专家们提出了数据合法的掌握者决定数据的使用条款与条件。 请进来,走出去 相比于德国工业4.0中的大数据项目,我们的差距在于:出于防止数据扩散,用户个人信息受到侵犯,数据价值无法持久化等考虑,我们在数据对外合作方面往往采取的是“请进来”的方式,即我所掌握的数据不出户

    2.1K50发布于 2018-02-28
  • 来自专栏刘旷专栏

    德国康巴赫牵手德国Carl Mertens,力争全球“锅具之王”

    12月23日,德国康巴赫于北京举行了收购德国百年厨具品牌Carl Mertens签约发布会,正式对外宣告了这两个来自德国高端厨具品牌的世纪联姻。 据QuestMobile数据预计,2020年底我国新中产人群数量将达到4亿人,这意味着我国新中产人群,已经在2018年(2.3亿)、2019年(3亿)的基础上,实现了三连增。 像德国康巴赫这样的新兴品牌,因为顺应变化而迎来了逆势大爆发。 数据显示,自2017年开始,德国康巴赫就连续两年蝉联天猫炒锅品牌类销量冠军。 有数据统计显示,截至目前一年时间内有143个品牌进入该领域,同时也有173个品牌退出,行业竞争之激烈可见一斑。 德国康巴赫联手德国Carl Mertens,谋求全球锅具市场全方位布局 12月23日,德国康巴赫收购德国百年品牌Carl Mertens的“世纪联姻”发布会,可以说是德国康巴赫进军全球“锅具之王”的必经之路

    1.2K00发布于 2020-12-26
  • 来自专栏Spark学习技巧

    数据还能混吗?

    工作这么多年,浪尖一直从事大数据相关的架构设计,计算框架的二次开发,尤其是实时计算框架,最近两年在搞实时数仓和数据分析,浪尖算是跟着大数据生态成长起来的老人了。 目前,大数据能做的或者还在折腾的方向基本就是: 1.数仓建设,大都是是 lamda 架构,也即是离线+实时数仓。这也是 lamda 架构演进的第二阶段。 2.通过湖仓一体,来实现离线和实时统一。 典型的组合是 flink+hudi,感觉还是 flink 发展带动的,目前问题比较多,比如血缘追踪,数据修正等。需配合一些 olap 框架,如 presto 和 ck。 5.数据开发,主要是 etl,特征抽取,sql 取数 boy 啥的,这类工作可替代性太强薪水上不去的,3-5 年以内的可以搞搞;5 年以上 希望大家远离吧,尽早提升。

    39720编辑于 2023-10-07
  • 来自专栏速入大数据

    从朋友数据:社交媒体数据如何定义我们的世界?

    从朋友数据:社交媒体数据如何定义我们的世界?近年来,大数据与社交媒体之间的交叉分析正在改变我们对世界的认知。 每天,数十亿用户通过微博、朋友、抖音等社交平台分享个人动态,这些数据不仅记录了我们生活的点滴,还成为了研究群体行为的宝贵财富。然而,如何在海量数据中找到洞见并实现价值转化? 社交媒体数据的特点社交媒体数据与传统数据相比,呈现以下几个鲜明特点:规模巨大:每秒钟都有数千条推文发布、数百张图片上传。非结构化数据为主:文本、图像、视频等多种数据形式并存。 值得关注的挑战尽管社交媒体数据蕴藏巨大潜力,但其使用也面临一些亟待解决的问题:隐私问题:过度分析个人数据可能侵犯隐私权。信息过滤效应:推荐算法可能导致信息孤岛,难以接触到多元观点。 噪声数据:海量数据中隐藏了大量无关信息,如何清洗与提取关键数据是一大难点。展望未来随着自然语言处理、深度学习等技术的成熟,大数据与社交媒体分析的结合将更加紧密。

    44410编辑于 2025-03-19
  • 来自专栏钱塘大数据

    数据生态就是一个厨房工具生态

    导读:大数据生态就是一个厨房工具生态。为了做不同的菜,中国菜,日本菜,法国菜,你需要各种不同的工具。

    978130发布于 2018-03-02
  • 来自专栏机器人网

    德国:“人机协作”领跑“工业4.0”

    现在,这种“虚拟”的场景正越来越多地出现在德国及世界的各个工厂中。 在德国,“人机协作”早已成为德国现代工厂生产发展的主流,不论是作为“领头羊”的大型企业,还是甘当“隐形冠军”的中小企业,都无一例外地乘上了“智能化”这辆超级快车,积极践行着“工业4.0”。 机器人所主导的数据准确的批量生产,不仅让制造成本得到有效降低,平均生产每台发动机所消耗的能量和污染排放分别降低了67%和70%。 过去,人是机械的“服务者”,工作范围被局限在某一区域,只能在轰鸣声中呆板地进行高强度重复劳动;现在,人已经转换成了机械的主控者、协调者,通过数据的可控性,以清醒的头脑和眼光掌控生产全局。 未来的世界,必定是人与机器协作创造出来的世界,我们用双手创造价值的愉悦感,用智慧推动社会进步的使命感,将在数据与机器、虚拟与现实的交叠中,不断地被放大。 [文章来自机器人博客,博主‘Yufy’]

    1.5K110发布于 2018-04-23
  • 来自专栏公众号:Lucifer三思而后行

    数据生态如何入门?

    数据技术在企业项目开发中主要涉及数据采集、数据存储和数据计算三个方面:数据采集是利用采集技术将各种数据源、不同格式的数据快速采集到大数据平台。 数据存储是将采集过来的数据,按照不同应用场景,使用不同技术进行存储,为数据计算做准备。数据计算可以根据数据的时效性,对存储的数据进行离线计算和实时计算,最终的计算结果可以为企业决策提供数据支撑。 数据采集、数据存储和数据计算这三个方面是大数据工程师的必备技能。 大数据不是一项专门的技术,而是很多技术的综合应用。可以通过一系列大数据技术对海量数据进行分析,挖掘出数据背后的价值。 数据从总体上可以分为结构化数据和非结构化数据。结构化数据也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。 数据获取 数据总体可分为结构化数据和非结构化数据。结构化数据也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格遵循数据的字段类型和长度限制,主要通过关系型数据库进行存储和管理。

    56811编辑于 2022-04-13
  • 来自专栏全栈程序员必看

    数据Hadoop生态介绍

    数据Hadoop生态-组件介绍 Hadoop是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。 随着处理任务不同,各种组件相继出现,丰富Hadoop生态,目前生态结构大致如图所示: 根据服务对象和层次分为:数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层 接下来对Hadoop生态中出现的相关组件做一个简要介绍。 1、HDFS(分布式文件系统) HDFS是整个hadoop体系的基础,负责数据的存储与管理。 数据的导入和导出本质上是Mapreduce程序,充分利用了MR的并行化和容错性。 Sqoop利用数据库技术描述数据架构,用于在关系数据库、数据仓库和Hadoop之间转移数据。 它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流,在具体的数据流中,数据源支持在Flume中定制数据发送方,从而支持收集各种不同协议数据

    1.4K20编辑于 2022-08-25
  • 来自专栏程序员互动联盟

    德国给过中国什么技术?

    德国到底带给了中国多少技术? 在近代由于中国的羸弱山东有一段时间的被割让给德国的,德国在青岛发展工业比较多,后来收回山东,但是青岛的很多企业同德国本土很多企业都建立了关联,在这其中大家比较熟悉的青岛的海尔厂子的前身就是德国利勃海尔公司技术 德国的汽车技术,德国一直在精密仪器,材料学,发动机等方面有着深厚的底子,所以中国的企业愿意像德国学习技术并且一起推动建立合资企业,在这个过程中核心的技术是不会转让给你的,有些学习周期比较短的技术难度低的技术随着时间推移可能就能慢慢消化 ,甚至直接给你开发,关键的核心技术还是封锁的死死的,不要觉得德国人对于中国人是多么的友好,只是德国的企业觉得在中国要比别的国家合适而已,在汽车方面中国和德国方面的合作还是非常的紧密,其中大众企业的底盘都是基于德国的技术 高铁技术的引进关键技术点来源于德国

    1.9K20发布于 2020-04-03
  • 来自专栏大数据文摘

    德国情报机构再次与NSA合作,共享公民数据

    内部文件显示,德国情报机构——宪法保护联邦办公室(BfV)从美国NSA处获得了XKeyscore软件,交换条件是把德国国民数据发送给NSA总部。 德国情报机构与NSA协议交换公民数据 时光倒回到2011年,NSA给德国情报机构(BfV)演示了XKeyscore软件的能力。 两年之后,BfV与NSA进行协商,最终BfV签署了一份协议,德国可以得到NSA的间谍软件,并允许他们安装使用;但条件是必须要把德国情报机构搜集到的国民元数据共享给NSA。 据《时代周刊》报道,“Terms of Reference”文件中指出,BfV的职责是最大程度的分享与NSA有关的数据。 现如今,德国的BND情报机构又重新获得NSA支持,对网民实施网络监控。 相爱相杀的美国和德国 NSA对德国的监视行为可以追溯到20世纪90年代,当时NSA主要监视的是德国财政部官员的手机,从中窃取一些机密信息。

    75730发布于 2018-05-23
  • 来自专栏大数据文摘

    德国竟然愿意拿国民数据与之交换!

    数据文摘编辑,素材来自freebuf.com,环球时报,英国卫报,观察网guancha.cn,转载请注明 德国联邦宪法保卫局交换意愿 德国顶级情报机构向美国国家安全局递交了德国国民的元数据,仅仅是为了得到 德国BfV拿国民元数据交换NSA的监视软件 据德国媒体Die Zei得到的文件称,德国联邦宪法保卫局(BfV)拿其国民的数据与美国国家安全局进行交易,以得到NSA的监视系统。 【看看NSA的售前能力,哦,当然,人家产品也确实牛】 经过长达2年的谈判,双方最终签署了一份合约,德国可以获得NSA的Xkeyscore副本,用于分析德国公民的数据。 但是条件是,德国情报机构需要将公民的元数据共享给美方。 Die Zei获得的文件中有一条是:BfV方的责任是:最大限度的分享所有数据给NSA。 德国数据保护委员会和议院并不知情 BfV既没有完全将这件事通知给德国数据保护委员会,也没有通知Parliamentary Control Panel。

    1.4K30发布于 2018-05-23
  • 来自专栏数据猿

    德国Fraunhofer协会推动欧洲数据开放与共享的案例实践

    <数据猿导读> 德国Fraunhofer协会依托IAIS研究所(智能分析和信息系统,世界最知名的数据科学研究机构之一),在数据挖掘、机器学习、语义技术、信息检索、软件工程等方面开展了很多卓有成效的工作, 德国Fraunhofer 协会旨在推进行业间的大数据共享,在欧洲,Fraunhofer结合大规模工业应用进行前沿研究,为各大门户网站提供数据(如德国国家数据门户,欧洲委员会数据门户和泛欧洲数据门户等等) 该门户不需要数据复制,可以单点访问欧盟数据目录(分离原始数据和元数据,保留逻辑关系),使得区域数据可以浏览、探索,并为数据用户提供许可信息,方便欧洲国家间的数据信息相互访问。 IAIS的客户分布的各个行业,如电信业(三星、沃达丰、诺基亚西门子),金融服务和保险业(安联,德国商业银行),出版传播业(Springer、Zeit),零售业(REWE,道格拉斯),物流行业(Deutsche 通过这种商业性网络顾问和CRM数据库的合作形式,IAIS跟德国所有大公司就建立了很强的数据联系,同时与中小企业及初创企业建立强大的关联。

    1.1K50发布于 2018-04-19
  • 来自专栏数据猿

    国家数据局出手,数据迎来“淘汰赛”?

    “国家数据局发布了首批104个高质量数据集典型案例。 大模型的发展,催生了高质量数据集的迫切需求。近日,国家数据局发布了首批104个高质量数据集典型案例。 同理,海量原始数据也需要经过“炼化”,形成高质量数据集,才能真正有效地应用于大模型训练。 数据集,亦称资料集、数据集合或资料集合,是由数据构成的集合。 例如,四川省数据局发布的地震监测预报预警多模态联合数据集;云南省数据局的云南动物资源多模态高质量数据集构建及应用项目。 针对青藏高原极高海拔、极寒气温和极干旱的环境挑战,该数据集综合整合了卫星遥感数据、地面台站观测数据以及无人机采集数据,构建形成了规模达600TB的多圈层综合数据产品。

    28710编辑于 2025-10-21
  • 来自专栏大数据文摘

    德国,停车可以这么任性!

    但是残酷的现实却往往是这样的:千辛万苦磨练后,停车技术总算掌握了,但停车位却找不到了…… 这不,德国的研究人员经过一番调查,得到了一些关于找车位的“惊人”数据: 一般来说,人们平均要花10分钟才能找到停车位 这种传感器仅有成人的拳头大小,可以被非常容易的放置于路灯内,并使用相同的电源,一个传感器就可以侦测多至7个车位,并可将数据传送到交通数据控制中心。当没有路灯时,感应器也可以被放置于高层建筑物上。 大数据让停车系统更聪明 真正让这套系统与众不同是它很“聪明”。 首先,它可以根据车的长度合理安排停车位,最大程度地利用空间。在寸土寸金的大城市,这一点显得尤为重要。 此外,通过记录每天的停车数据,如区域内停车的变化频率、空余时间等,系统在部署一段时间后便可以掌握区域内车位的变化模式。 大数据文摘ID:BigDataDigest 专注大数据,每日有分享 覆盖千万读者的WeMedia联盟成员之一

    1.2K30发布于 2018-05-23
  • 来自专栏量子位

    德国AI“算个球”:西班牙是冠军,只要别让德国进八强(严谨推理)

    讲科学 一般而言,大数据预测为导向的AI,最常使用的方法有泊松回归、排序算法以及随机森林,都old school,都比较经典。 数据准备 要搞出这个AI,首先要来到数据篇,往届世界杯对战数据自然是题中之义,但光有比赛维度的数据又怎么够? 所以这个AI还把经济因素、球队实力、主场优势、球队结构,教练因素等纳入其中。 也就是说,这个AI给出的终极结果是:西班牙胜率最大,但只要德国进8强,呵呵。 所以你听懂德国科学家们的潜台词了吗? 数据科学家Gerald Muriuki就利用2个来自Kaggle的数据集,使用1930年第一届世界杯以来的所有参赛队的历史赛事结果,打造了一个AI模型,同样预测了所有小组赛结果,还模拟了四分之一决赛、半决赛和决赛 高盛的AI模型显示:法国、巴西、葡萄牙和德国将打入半决赛,巴西最终将在决赛中击败德国

    1.5K20发布于 2018-07-24
  • 来自专栏不二鱼的芯片验证记录

    System verilog重点

    第二章,数据类型。这一章在我面对的面试中,是高频考点。看完这一章,你需要知道,有哪几种数据类型,有哪些二值逻辑,哪些又是四值逻辑,要能脱口而出头的那种,比如logic是几值,bit类型是几值。 除了数据类型,这一章的重点 还有数组,数组类型有哪些,又分别有什么特点,相互又有什么区别,各自的应用场景,每次都问,真的每次都问,这真的是高频考点!! 第三章,过程语句和子程序。

    69821编辑于 2022-10-28
  • 来自专栏生信情报站

    R 数据可视化 03 |

    文章目录 一、环境需求 R 及 Rstudio 的安装配置 RCircos安装 二、绘制图 0.载入包 1.绘制人染色体图 2.绘制基因 5.绘制折线图 6.绘制网络图 7.添加和弦图 install.packages("BiocManager") library(BiocManager) # 方法一 BiocManager::install("RCircos",ask = F,update = F) 二、绘制图 0.载入包 rm(list=ls()) # 载入包 library(RCircos) 1.绘制人染色体图 # 绘制人染色体图 ---------------------------------- -------------------- # 导入内建人类染色体数据 data(UCSC.HG19.Human.CytoBandIdeogram) # 设置染色体数据 cyto.info <- UCSC.HG19 会在根目录发现导出的图 ?

    1.3K10发布于 2021-01-12
领券