首页
学习
活动
专区
圈层
工具
发布
  • 来自专栏悠扬前奏的博客

    Spark-2.WordCount的4种写法

    > call(Tuple2<String, Integer> t2) throws Exception { return new Tuple2<>(t2._2, t2._ > call(Tuple2<Integer, String> t2) throws Exception { return new Tuple2<>(t2._2, t2._ -> new Tuple2<>(t2._2, t2._1)) .sortByKey(); ones = transdOnes.mapToPair(t2 -> new Tuple2<>(t2._2, t2._1)); /** * 对结果数据进行处理 */ // ones.foreach ); /** * 结束关闭入口 */ sc.stop(); } } 注意最后不能用System.out::println的写法

    1.8K40发布于 2019-05-30
  • 来自专栏有关SQL

    1 个需求,2 种写法, 3 层境界

    2 种写法 很多朋友,写这类 SQL,手到擒来。无非就是 Update 和 Insert. 但 Merge 虽强,碰到大数据量,写法依旧单薄。尤其在 Merge 操作中,更新了上百万行,产生大量日志的同时,还会锁表,对数据库及其不友好。 怎么办?改批次! 原因有 2: Merge 单条语句实现了事务控制,上面已说 Merge 是轻量更新:本例用一条数据解释了 Merge,但实际情况,Merge 可以实现表对表的合并,当两表数据量都大时, UPDATE/INSERT

    41510发布于 2021-01-21
  • 来自专栏编程录

    Yii2中使用order by locate的写法

    原生写法如下 select * from vd_video order by locate(video_type_id,'3,7,6') desc Yii中写法如下 $type_ids =

    1.1K30发布于 2019-09-19
  • 来自专栏菩提树下的杨过

    ruby学习笔记(8)-静态方法的4种写法与单例方法的2种写法

    #静态方法的4种写法 class Test def Test.StaticMethod1 puts "Test.StaticMethod1" end def self.StaticMethod2 Test.StaticMethod3 Test.StaticMethod4 #单例方法的2种写法 class Test def method1 puts "method1" end end t1 = Test.new def t1.singleMethod1 puts "t1.singleMethod1" end class << t1 def singleMethod2 puts "t1.singleMethod2" end end t2 = Test.new t1.method1 t2.method1 t1.singleMethod1 t1.singleMethod2 #t2.singleMethod1 #将报错 #t2.singleMethod2 #将报错

    98660发布于 2018-01-22
  • 来自专栏罗西的思考

    深度学习流水线并行GPipe (2) ----- 梯度累积

    [源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 目录 [源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 0x00 摘要 0x01 概述 1.1 前文回顾 本系列其他文章如下: [源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 0x01 概述 1.1 前文回顾 前文提到,目前分布式模型训练有几个必要并行技术: 流水并行,尤其是如何自动设定流水 ; 梯度累加(Gradient Accumulation); 后向重计算; 1F1B 策略(我们将采用PipeDream分析); 在前文中,我们介绍了Gpipe如何实施流水线并行技术。 在流水线并行下, Gradient Accumulation 使得不同 stage 之间可以并行执行不同的 micro-batch,通过多个 micro-batch的梯度累加使得下一个 micro-batch 的前向计算不需要依赖上一个 micro-batch 的反向计算,因此从而让各个阶段的计算不阻塞,可以畅通无阻的进行下去(当然在一个大 batch 的最后一次 micro-batch 还是会触发这个依赖), 达到流水线的目的

    2.2K30发布于 2021-08-30
  • 来自专栏linux、Python学习

    Python优雅写法,让你工作效率翻2倍

    a = 0 b = 1 c = 2 优雅方法: 直接按顺序对应一一赋值。 a, b, c = 0, 1, 2 序列解包 需要取出列表中的元素。 常规方法: 一般我们知道可以通过下标获取具体元素。 info = ['brucepk', 'man', 'python'] name = info[0] sex = info[1] tech = info[2] print(name,sex,tech) , 'computer', 'Physics'] for i in range(len(L)):     print(i, ':', L[i]) # 结果 0 : math 1 : English 2  English', 'computer', 'Physics'] for k,v in enumerate(L):     print(k, ':', v) # 结果 0 : math 1 : English 2  print([x*x for x in range(1, 6)])  #结果: [1, 4, 9, 16, 25] Python 这些优雅的写法学会了吗?自己赶紧动手试试吧。

    85050发布于 2019-05-21
  • 来自专栏java工会

    ajax的jquery写法和原生写法

    2、与GET不同的是,PUT请求是向服务器端发送数据的,从而改变信息,该请求就像数据库的update操作一样,用来修改数据的内容,但是不会增加数据的种类等,也就是说无论进行多少次PUT操作,其结果并没有不同 简单的说就是 get理解为查询 delete就是删除 post就是新增 put就是更新数据 四、ajax的原生写法 window.onload = function () { var oBtn var oAjax = new ActiveXObject("Microsoft.XMLHTTP");//IE6浏览器创建ajax对象 } //2. //2->载入完成):send() 方法完成,已收到全部响应内容。 //3->(解析):正在解析响应内容。 { alert("失败"); } } }; } }; 五、ajax的jquery写法

    2.9K30发布于 2018-12-28
  • 来自专栏罗西的思考

    深度学习流水线并行 PipeDream(2)--- 计算分区

    [源码解析] 深度学习流水线并行 PipeDream(2)--- 计算分区 目录 [源码解析] 深度学习流水线并行 PipeDream(2)--- 计算分区 0x00 摘要 0x01 前言 1.1 Profile 计算结果具体如下图所示: 流水线并行其他文章链接如下: [源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 [源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 如何防止流水线瓶颈。 由木桶原理我们可以知道,一个流水线管道的吞吐量由这个流水线上最慢环节的吞吐量决定。 所以需要确保流水线中所有阶段都大致花费相同的计算时间,否则最慢的阶段将会成为整个流水线的瓶颈。 这个划分问题等价于最小化流水线的最慢阶段所花费的时间,并且具有最优子问题属性:在给定worker工作量前提下,吞吐量最大化的流水线由一系列子流水线构成,其中每一个子流水线针对较小worker工作量来最大化自己的输出

    98730发布于 2021-09-08
  • 来自专栏罗西的思考

    PyTorch 流水线并行实现 (2)--如何划分模型

    0x00 摘要 上一篇文章我们介绍了 PyTorch 流水线并行的基本知识,本文我们介绍其自动平衡机制和模型分割。 流水线并行其他文章链接如下: [源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 [源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 [源码解析] 深度学习流水线并行 GPipe(3) ----重计算 [源码解析] 深度学习流水线并行之PipeDream(1)--- Profile阶段 [源码解析] 深度学习流水线并行 PipeDream(2)--- 计算分区 [源码解析 ] 深度学习流水线并行 PipeDream(3)--- 转换模型 [源码解析] 深度学习流水线并行 PipeDream(4)--- 运行时引擎 [源码解析] 深度学习流水线并行 PipeDream(5) --- 通信模块 [源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略 [源码解析] PyTorch 流水线并行实现 (1)--基础知识 本文图来自论文和github源码。

    2.1K40发布于 2021-09-27
  • 来自专栏九彩拼盘的叨叨叨

    asyncawait 写法示例

    代码如下 async function doSerialTing() { await doTask({id:1}) console.log('sth') await doTask({id:2, time: 1000}) await doTask({id:3}) } doSerialTing() 输出 thing 1 is done sth thing 2 is done thing 3 代码如下 async function doParallelTing() { var [res1, res2, res3] = await Promise.all([ doTask( { id:1}), doTask( {id:2, time: 1000 }), doTask( {id:3}) ]) console.log(res1,res2,res3) } doParallelTing() 输出 thing 1 is done thing 3 is done thing 2 is done thing 1 is done thing 2 is done

    1.1K20发布于 2018-08-24
  • 来自专栏卓越笔记

    pymysql in 的写法

    def use_name_get_goods_id(self, goods_name): """ 用商品名称(列表)查找商品ID :return: """ # Read a single record, if change database you need connection.commit() sql = "SELECT `id`,`name`,`ip_name`,`sales_price` FROM

    1.8K20编辑于 2023-03-04
  • 来自专栏相约机器人

    TF2下变分自编码的N种写法

    在1.x时代,一个模型的只有一种写法,规则晦涩很容易出错。在2.x时代,一个模型会变成有N种写法,而且每种写法的规则更加晦涩,写起模型来,出错率成指数增长。 不过透过TF2.x的自杀式改革背后,可以看出,其希望扭转这一困境的决心。在TF2.x中,主推了2个子框架,keras与原生的动态图框架。大概这将会是TF2.x未来的使用趋势。 我们以前发表过的一篇文章<TensorFlow 2.0中实现自动编码器> 1 基础的Keras写法 先来看看最基础的keras写法 1.1 模型结构 解码器与编码器的结构代码如下: batch_size samplingfun, output_shape=(latent_dim,))(z_mean, z_log_var) 错误的写法,会报如下错误: ? 在编译模型时,可以不需要再指定损失了. 2.2 坑2:向模型中加入损失张量 最常见的坑,就是使用1.4节的方法,将张量损失编译到模型里.写法如下: autoencoder.compile(optimizer

    1.2K10发布于 2020-03-12
  • 来自专栏云原生实验室

    overlay2 在打包发布流水线中的应用

    在这期间产品打包发布流水线做了很多优化,其中最突出的是镜像同步的优化,将镜像同步的速度提升了 5 到 15 倍。大大缩短了整个产品的发布耗时,也得到了同事们的一致好评。 我们的产品打包时会有一个镜像列表,并根据这个镜像列表在 CI/CD 的流水线镜像仓库里将镜像同步到一个发布归档的镜像仓库和一个打包的镜像仓库。 其镜像同步的流程如下图所示: 第一次是从 CI/CD 流水线镜像仓库(cicd.registry.local)中拉取镜像并 push 到发布归档的镜像仓库(archive.registry.local) 总之 overlay2 大法好!根据 overlay2 的特性,我们可以将历史的数据当作 overlay2 里的 lowerdir 来使用。 /bin/bash v2=$1 v2=${v2:="/var/lib/registry/docker/registry/v2"} cd ${v2} all_blobs=/tmp/all_blobs.list

    95420发布于 2021-03-16
  • 来自专栏天天

    css推荐写法

    1. tab键用四个空格代替 为了代码美观,易于观看 2. 每个样式属性后加 ";" 为了书写的一致性,还有就是避免出现不必要的问题 3. Class命名为了语义化中出现多个单词,采用” - “分隔 /* 正确的写法 */ .big-title { font-weight: bold; } 用"-"隔开比使用驼峰是更加清晰。 属性名的 : 后(必须)要有空格 属性名的 : 前(禁止)加空格 一个原因是美观,其次IE 6存在一个bug, 戳bug 5.多选择器规则之间换行 当样式针对多个选择器时每个选择器占一行 /* 推荐的写法 链接的样式,务必按照这个顺序来书写 1. a:link 2. a:visited 3. a:hover 4. a:active

    1.4K20发布于 2018-09-29
  • 来自专栏九彩拼盘的叨叨叨

    jQuery 写法示例

    选择元素 $('.box') // CSS3 选择器 $('.el', $parent) $().add('.el1').add('.el2') $('.box').filter(':visible' 'checked') $el.prop('checked', true) 类名 $el.addClass('className') $el.addClass('className1 className2' ; var sum = 0; return args.reduce(function(prev, curr) { return prev + curr }, 0) } add(1,2,3

    1.2K20发布于 2018-08-24
  • 来自专栏九彩拼盘的叨叨叨

    BEM 写法示例

    写法示例如下 <! >

  • Menu Item 1
  • Menu Item 2< -- 避免 .block__el1__el2。改成用以下的方式。 -->
    -- 避免用 block-name–-modifier-name__element-name 的写法。改成用以下的方式。

    73230发布于 2018-08-24
  • 领券