首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏CreateAMind

    Data Analysis

    read() def _read(self): file_list = glob.glob(self.dir_path) # get all name of files in data = [pd.read_csv(x, delimiter="\t") for x in progress_list] # read all the data from */progree.txt )) self.exp_info = exp_info.drop(["h1", "h2"], axis=1) # return self.exp_info, self.data_list self.compare_name = compare_name score = [x.loc[f:, "AverageTestEpRet"].mean() for x in self.data_list d = self.compare_name fig, ax = plt.subplots() for x in compare: self.data_list

    1.2K30发布于 2019-07-23
  • 来自专栏我爱编程

    Data Analysis

    Data Analysis.png

    1.3K10发布于 2018-08-13
  • 来自专栏mathor

    Data augmentation

    只有这样才能确保神经网络学到的特征更加全面 但在现实中,若想达到以上的目的要付出巨大的代价,并且还要对照片上出现的东西进行准确标注,另外对于一些稀有的物种信息收集更是十分困难 因此我们这里介绍一些为神经网络提供更多数据的方法——数据增强(Data import torch.nn.functional as F from torchvision import datasets, transforms train_loader = torch.utils.data.DataLoader /data', train=True, download=True, transform=transforms.Compose([ import torch.nn.functional as F from torchvision import datasets, transforms train_loader = torch.utils.data.DataLoader /data', train=True, download=True, transform=transforms.Compose([

    93010发布于 2020-02-14
  • 来自专栏sktj

    vue data

    var data = { a: 1 } var vm = new Vue({   data: data }) vm. $data === data // -> true vm.a === data.a // -> true // 设置属性也会影响到原始数据 vm.a = 2 data.a // -> 2 // 反之亦然 data.a = 3 vm.a // -> 3 ?

    97310发布于 2019-08-28
  • 来自专栏hsdoifh biuwedsy

    Data visualisation

    Lecture 6: Data visualisation -be able to explain the motivation for data visualisation Converting data into a visual format Reveals characteristics of the data, relationships between objects or relationships between features Simplifies the data Humans are very good at analysing information in a visual format Spot trends, patterns, outliers Visualisation can help show data quality Visualisation helps tell some clustering Could be losing some information due to 2D nature Can find the cluster Can find how data

    88510发布于 2021-05-19
  • 来自专栏本立2道生

    Data Warehouse

    OLAP):  User and system orientation: customer vs. market  Data contents: current, detailed vs. historical for OLAP: complex OLAP queries, multidimensional view, consolidation Data Warehouse: ? A data warehouse is a subject-oriented, integrated, time-variant, and nonvolatile collection of data H.Inmon data stored in data warehouse has been processed after extracation, cleaning, transformation, Data Warehouse model : dimensions and measures, you can locate some data by dimension and see the data

    1.1K10发布于 2018-10-11
  • 来自专栏潇涧技术专栏

    Python Data Structures - C3 Data Structures

    Python数据结构篇(3) 数据结构 参考内容: 1.Problem Solving with Python Chapter 2 Algorithm Analysis Chapter 3 Basic Data

    78510发布于 2018-08-01
  • 来自专栏大数据和云计算技术

    Modern Data Stack 下 Data Integration 生态(上)

    modern data stack 几大核心是:cloud 、open-source 、SaaS business models。 ,本文会重点讨论下 Modern data stack 本身,还有 Gartner 对 data integration 的理解。 后面还有一篇讨论具体的在 modern data stack 下面 data integration 都有些典型公司。 自助式分析:The rise of self-service analytics to democratize data exploration 除了上面几点,modern data stack 核心变化下图有总结 ;不是特别符合现在所说的 modern data stack 的逻辑。

    1.2K20编辑于 2021-12-28
  • 来自专栏大数据和云计算技术

    Modern Data Stack 下 Data Integration 生态(下)

    前言 上一篇介绍了什么是 modern data stack,这一篇继续来梳理下,在modern data stack 下面常见的产品都有哪些。 pipelines, streaming analytics, data integration, and mission-critical applications. kafka 核心的能力还是在分发 Data transformation and modeling 分类说明 这个主要是和数仓结合,数仓的上层管理数据转换和模型构建。 Census,其他还有Hightouch 和 Omnata 把数仓数据挪到 SaaS 工具中,不需要写代码,只需要 SQL 简单总结 Modern data stack 下面 data integration Modern data stack 都在不同层面去降低客户使用数据的难度以及帮助发现客户的价值,典型的 dbt,reverse etl 。

    1.3K20编辑于 2021-12-30
  • 来自专栏Hadoop数据仓库

    Data Vault初探(三) —— 建立Data Vault模型

    sales_order (sales_order_id), FOREIGN KEY (product_id) REFERENCES product (product_id) ) ; 将示例转换成Data 注意Data Vault模型中的每个关系都是多对多关系。 所有源库中用到的表的非键属性都要放到Data Vault模型中。 sat_product hub_product sat_sales_order hub_sales_order sat_order_product link_order_product 使用下面的脚本建立Data foreign key (link_order_product_id) references link_order_product (link_order_product_id) ); Data

    1.6K20编辑于 2022-06-14
  • 来自专栏开源心路

    数据编织 (Data Fabric) vs 数据网格 (Data Mesh)

    概念 近来,数据管理领域的热词也是不少,从国外来的数据编织 (Data Fabric) 和数据网格 (Data Mesh) 是两个经常被提及的新话题。 Gartner给数据编织(Data Fabric) 的定义如下: Data Fabric is a design concept that serves as an integrated layer of data and connecting processes. Forrester给出数据网格 (Data Mesh) 的定义如下: Data Mesh is a decentralized sociotechnical approach to share, access 参考 https://www.datanami.com/2021/10/25/data-mesh-vs-data-fabric-understanding-the-differences/

    2.5K10编辑于 2023-06-30
  • 来自专栏小工匠聊架构

    Elasticsearch-circuit_breaking_exception Data too large, data for

    ---- 异常信息 {"root_cause":[{"type":"circuit_breaking_exception", "reason":"[parent] Data too large, data

    2.7K10发布于 2021-08-17
  • 来自专栏麒思妙想

    零基础学Flink:Data Source & Data Sink

    在上一篇讲述CEP的文章里,直接使用了自定义Source和Sink,我翻阅了一下以前的文章,似乎没有对这部分进行一个梳理,那么今天我们来就这上次的代码,来说说 Data Source 和 Data Sink 从宏观上讲,flink的编程模型就可以概况成接入data source,然后进行数据转换操作,再讲处理结果sink出来。如下图所示。 ? Data Source 我们还是以上一篇文章的空气质量例子为例,我们制造一个发生器,来向制造数据,然后将数据写入kafka。 Data Sink Sink部分会介绍两部分内容,1.Sink 到 JDBC 2.通过 Flink SQL Sink 到 CSV Sink 到 JDBC 首先我们创建一个sink类,继承RichSinkFunction 好了,关于 Data Source 和 Data Sink 就先介绍到这里,欢迎大家和我交流。

    2.6K40发布于 2020-07-10
  • 来自专栏jQuery每日经典

    jquery中的 $.data() 和 $dom.data() 区别

    ; console.log( $div.data() ); console.log( $.data( $div.get(0) ) ); data 方法的定义是: 这里只从 jQuery 的源码分析入手, 版本是3.2.1 1. $.data() 方法 data: function( elem, name, data ) { return dataUser.access( elem, name, data ); }, 其中 dataUser 是一个Data() 对象,Data对象没有任何特殊的地方。 value : key; }, 可以看到,$.data(ele) 只会去读取dataUser 结构中存在的数据,而不会去读dom 节点上的 Data 属性相关值。 $Dom.data(); data: function( key, value ) { var i, name, data,elem = this[ 0 ], attrs = elem && elem.attributes

    91220编辑于 2022-01-17
  • 来自专栏企业平台构建

    jquery---data

    data 为元素临时存放数据。 jquery通过data绑定数据: elem.data(key,value); elem.data(object);//object为{key:value}; 取数据:(elem为jquery 对象,dom为DOM元素) elem.data(key); $.data(dom,key); 特殊: <div data-role="page" data-last-value="43" data-hidden="true" data-options='{"name":"John"}'>

    $("div").data("role") === "page"; $("div" ).data("lastValue") === 43; $("div").data("hidden") === true; $("div").data("options").name === "John

    52830发布于 2019-08-07
  • 来自专栏web全栈潮流

    spring data jpa

    KeywordSampleJPQL snippet And findByLastnameAndFirstname … where x.lastname = ?1 and x.firstname = ?

    1.2K20发布于 2019-11-04
  • 来自专栏浪浪山下那个村

    Data Sink 介绍

    Data sink 有点把数据存储下来(落库)的意思。 Flink Data Sink 前面文章 Data Source 介绍 介绍了 Flink Data Source 有哪些,这里也看看 Flink Data Sink 支持的有哪些。

    1.3K50编辑于 2022-06-17
  • 来自专栏文渊之博

    Data Vault 简介

    Data Vault 简介 Data Vault 2.0 不仅是建模技术,也提供了一整套数据仓库项目的方法论。它能提供一套非常可行的方案来满足数据仓库项目中对于历史轨迹和审核两个方面的需求。 ,该方法侧重于从敏捷实践中获得最大收益,并使用其他已被证明有效的规程和技术,看起来是迄今为止最迭代的BI方法 什么是Data Vault Data Vault (DV)将敏捷、BEAM需求收集、CMMI Data Vault 2.0 优点 下面概述了Data Vault 2.0方法的一些主要优点: 它假设了数据建模关系的最坏情况。业务对象之间的N:M关系,以消除在将1:M变为M:M时需要更新的情况。 如果项目是小规模的,或者项目的生命周期很短,那么就不值得采用数据库模型 使用Data Vault背后的主要驱动因素之一是出于审计和历史轨迹的目的。 l 此外,如果跨业务实体的关系在数据仓库中不断发展(例如1:M到M:M),那么data Vault将简化这些关系的捕获,并更关注于交付真正的价值。

    1.7K21发布于 2020-06-19
  • 来自专栏小鹏的专栏

    trick—Data Augmentation

    我们对其进行了改进,提出Supervised Data Augmentation方法。        

    1.5K60发布于 2018-03-12
  • 来自专栏余林丰

    Spring Data Redis

    关于Spring Data Redis的官方介绍:https://spring.io/projects/spring-data-redis。 使用Spring Data Redis后,你会发现一切变得如此简单,只需要配置文件即可做到开箱即用。 ; import org.springframework.data.redis.connection.RedisConfiguration; import org.springframework.data.redis.connection.RedisConnectionFactory ; import org.springframework.data.redis.connection.RedisConnectionFactory; import org.springframework.data.redis.core.RedisTemplate Redis,就请打开官网(https://spring.io/projects/spring-data-redis)尽情探索吧

    73710发布于 2020-03-02
  • 领券