- 综合排序
- 最热优先
- 最新优先
- 来自专栏CSDNToQQCode
Spack作业分析
分） 题目4（15分） 题目5（20分） 题目6（20分） ---- 文件 给予4个文件【spack01.txt】【spack01.txt】【film_log1.csv】【move.csv】进行数据分析
1.3K10编辑于 2022-11-30 - 来自专栏腾讯云流计算 Oceanus
Storm作业转化为Flink作业流程分析
一、 Storm的topology作业可以转化为Flink Job放到Flink上运行，需要修改Storm作业的代码。 在FlinkToplogy中进行作业转化解析的主要流程如下： transloteToplogy.JPG 1. 首先获取Flink流式作业的执行环境，以及Storm作业中定义的Spout，Bolt组件集合；这些都是在FlinkTopology的构造方法中完成，代码如下： this.spouts = getPrivateField 根据以上操作就将Storm作业的spout组件转为成了Flink作业的DataStreamSource了，然后将转化出来的dataStream放入到availableInputs中；其中availableInputs ，则Storm作业中组件将全部转化为Flink的Transmation，放入到执行环境的transmations中，提交作业运行的时候，transmations转化StreamGraph，再转为JobGraph
2.5K20发布于 2018-09-08 - 来自专栏git
spark作业-源码分析
由上述分析可以知道，如果需要join的两个表，本身已经有分区器，且分区的数目相同，此时，相同的key在同一个分区内。就是窄依赖。
43820编辑于 2021-12-28 - 来自专栏python3
python作业大纲分析
2018-11-22 目前自学python这么久，零零散散的写了几次作业，下面是几个在完成过程中遇到困难较多的作业。
79220发布于 2020-01-20 - 来自专栏后端技术
系统设计与分析 作业9
该用例完成用户订购酒店的整体过程。 用户可搜索酒店，得到搜索表单。再根据搜索表单选择满意的酒店和房间类型。 最后验证预定，完成整个过程。
43140发布于 2019-05-25 - 来自专栏后端技术
系统设计与分析 作业4
分析客户要完成退货业务，在淘宝网上需要实现哪些系统用例 3. 用例文本编写 在大作业基础上，分析三种用例文本的优点和缺点 摘要优缺点：摘要文本是简洁的一段式摘要，通常用于主成功场景。优点是易于编写。 非正式文本优缺点：非正式文本是用几个段落覆盖不同的场景，用几个段落覆盖不同场景，同样用于早期的需求分析过程，优点是比起摘要式用例文本要详细一些，覆盖的问题广泛一些，缺点是不够正式。
50320发布于 2019-05-25 - 来自专栏后端技术
系统设计与分析 作业3
最后，分析调查结果，写成文档，发布到项目的github上 github 调研报告 2.
67230发布于 2019-05-25 - 来自专栏后端技术
系统设计分析 作业6
1、 领域建模 a. 阅读 Asg_RH 文档，按用例构建领域模型。 按 Task2 要求，请使用工具 UMLet，截图格式务必是 png 并控制尺寸 说明：请不要受 PCMEF 层次结构影响。你需要识别实体（E）和 中介实体（M，也称状态实体） 在单页面应用（如 vue）中，E 一般与数据库构建有关， M 一般与 store 模式 有关 在 java web 应用中，E 一般与数据库构建有关， M 一般与 session 有关 b. 数据库建模(E-R 模型) 按 Task 3 要求，给出系统的 E
48330发布于 2019-05-25 - 来自专栏后端技术
系统设计与分析 作业5
作业总览 1、 领域建模 a. 阅读 Asg_RH 文档，按用例构建领域模型。
51120发布于 2019-05-25 - 来自专栏后端技术
系统设计与分析 作业8
1. 描述软件架构与框架之间的区别与联系 区别 软件架构是一个抽象的概念，高于实际代码，是诞于设计阶段的系统蓝图，描述部件的功能、部件与部件之间的协作，从而大致地描述出系统完整的运作流程。它并不是实际系统代码的一部分。 而框架是一个具体的概念，是实际代码的一部分。框架是针对系统设计的一个“半成品”软件，使用特定的语言和技术描述了架构中各部件功能的具体实现。 联系 软件架构是框架的“蓝图”，是理论指导，对于框架的实现具有指导作用。框架则体现了架构的设计核心。 2. 以你的项目为案例 绘制三层架构模型图，细致到
48420发布于 2019-05-25 - 来自专栏后端技术
系统设计分析 作业7
XX 建模练习 要求： 练习文档编写 选择一个你喜欢的 移动App 或 其中某业务 参考 Asg_RH 文档格式 编写软件描述 文档要包含一个业务的完整过程 建模要求包括（用例图、XX业务或用例的活动图、XX领域模型、XX对象的状态图、XX场景的系统顺序图与操作协议） 选择：知乎app 1.用例图 2.活动图 3.领域模型 4.状态图 5.系统顺序图
38640发布于 2019-05-25 - 来自专栏HansBug's Lab
【作业】HansBug的前三次OO作业分析与小结
OO课程目前已经进行了三次的作业，容我在本文中做一点微小的工作。 第一次作业 第一次作业由于难度不大，所以笔者程序实际上写的也比较随意一些。 （点击就送指导书~） 类图 程序的大致结构如下： 代码分析 可以看出，整体的功能还是相对零散的，耦合状况也基本还可以。 代码分析 可以看到，这一次的耦合状况较上一次有好转（没有出现红色字）。然而依然存在部分方法复杂度略高的情况（比如入口点函数，依然是红字状态）。看来，功能还需要进一步拆散。 第三次作业 第三次作业是第二次作业的升级版，采用了相对智能的电梯调度措施，然后需求细节一样较为繁琐。 然而实际上，第三次作业仍然有着一些的缺陷： 和第二次作业一样功能不够分散 由于需求分析花了非常多的时间，导致这次作业起步时间很晚，很多架构实际上并不是很好的设计（笔者写程序的时候自己就已经在这么觉得，然而时间紧迫还是选择了优先完成任务
81960发布于 2018-04-11 - 来自专栏芋道源码1024
分布式作业 Elastic-Job-Lite 源码分析 —— 作业配置
Lite作业配置( LiteJobConfiguration )：必填。 作业事件总线( JobEventBus )：对作业事件异步监听。选填。 每次作业执行时间和间隔时间均较长的情况，建议监控作业运行时状态，可保证数据不会重复选取。 monitorPort：作业监控端口。默认为 -1，不开启作业监控端口。选填。 作业自定义参数，可通过传递该参数为作业调度的业务方法传参，用于实现带参数的作业 例：每次获取的数据量、作业实例从数据库读取的主键等 failover：是否开启作业执行失效转移。 开启表示如果作业在一次作业执行中途宕机，允许将该次未完成的作业在另一作业节点上补偿执行。默认为 false。选填。在《Elastic-Job-Lite 源码解析 —— 作业失效转移 》详细分享。 或者 当前作业配置允许替换注册中心作业配置( overwrite = true )时，持久化作业配置。
1.5K50发布于 2018-09-30 - 来自专栏芋道源码1024
分布式作业 Elastic-Job-Lite 源码分析 —— 作业分片
作业分片条件 当作业满足分片条件时，不会立即进行作业分片分配，而是设置需要重新进行分片的标记，等到作业分片获取时，判断有该标记后执行作业分配。 LeaderService#isLeaderUntilBlock() 方法在《Elastic-Job-Lite 源码分析 —— 主节点选举》「3. 选举主节点」有详细分享。 作业是否在运行中需要 LiteJobConfiguration.monitorExecution = true，《Elastic-Job-Lite 源码分析 —— 作业执行》「4.6 执行普通触发的作业 《Elastic-Job-Lite 源码分析 —— 作业分片策略》有详细分享。 获取作业分片上下文集合 在《Elastic-Job-Lite 源码分析 —— 作业执行的》「4.2 获取当前作业服务器的分片上下文」中，我们可以看到作业执行器( AbstractElasticJobExecutor
65820发布于 2018-12-07 - 来自专栏芋道源码1024
分布式作业 Elastic-Job-Lite 源码分析 —— 作业数据存储
在《Elastic-Job-Lite 源码分析 —— 作业分片》详细解析。 《Elastic-Job-Lite 源码分析 —— 作业执行》的「4.6」执行普通触发的作业已经详细解析。 《Elastic-Job-Lite 源码分析 —— 作业执行》的「4.7」执行被错过触发的作业已经详细解析。 当且仅当作业节点为主节点时，才可以执行作业分片项分配，《Elastic-Job-Lite 源码分析 —— 作业分片》详细解析。 《Elastic-Job-Lite 源码分析 —— 作业失效转移》详细解析。
56020发布于 2018-10-26 - 来自专栏闵开慧
Hadoop作业提交与执行源码分析
Hadoop作业提交与执行源码分析 1 概述 Job执行整体流程图 2 Job创建与提交过程 2.1 Configuration类 Configuration类定义了如下私有成员变量
1.8K60发布于 2018-03-30 - 来自专栏全栈程序员必看
作业2 分析TGA文件「建议收藏」
文件尾（TGA File Footer）：由扩展区域偏移量、开发者目录偏移量和TGA文件扩展格式签名三部分组成，用于验证TGA文件扩展格式，并可以确定扩展区域和开发者字典的位置 三、TGA图片分析 该图片为原图 ，jpg格式 1、文件头分析 （1）第一个字节00：文件中没有图像信息字段 （2）第二个字节00：没有颜色表 （3）第三个字节02：图像类型为未压缩的真彩图像 （4）第四字节到第六字节均为
96610编辑于 2022-07-25 - 来自专栏芋道源码1024
分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业执行
在《Elastic-Job-Lite 源码分析 —— 作业初始化》的「3.2.3」创建作业调度控制器里，我们可以看到 Quartz 的 JobDetail 创建代码如下： JobDetail result 在《Elastic-Job-Lite 源码分析 —— 作业配置》的「3.1」读取作业配置 已经解析。 3.2 获取作业执行线程池 作业每次执行时，可能分配到多个分片项，需要使用线程池实现并行执行。 service.awaitTermination(terminationTimeout, timeUnit); MoreExecutors#listeningDecorator(…) 在《Sharding-JDBC 源码分析 每个作业可以配置不同的处理器，在《Elastic-Job-Lite 源码分析 —— 作业配置》的「2.2.2」作业核心配置已经解析。 configService.checkMaxTimeDiffSecondsTolerable(); } 调用 ConfigService#checkMaxTimeDiffSecondsTolerable() 方法校验本机时间是否合法，在《Elastic-Job-Lite 源码分析
2K20发布于 2018-09-30 - 来自专栏芋道源码1024
分布式作业系统 Elastic-Job-Cloud 源码分析 —— 作业配置
云作业App 2.1 云作业App配置类 2.2 操作云作业App配置 3. 云作业 3.1 云作业配置 3.2 本地云作业配置 3.3 云作业配置总结 666. 彩蛋 ---- 1. 如果你阅读过以下文章，有助于对本文的理解： 《官方文档 —— RESTFUL API》 《Elastic-Job-Lite 源码分析 —— 作业配置》 《由浅入深 | 如何优雅地写一个Mesos Framework 另外，笔者假设你已经对 《Elastic-Job-Lite 源码分析系列》 有一定的了解。 本文涉及到主体类的类图如下( 打开大图 )： ? 云作业 一个云作业应用可以包含一个或多个云作业。云作业有两种作业配置：云作业配置、本地云作业配置。下面来分别分享它们。 3.1 云作业配置 CloudJobConfiguration，云作业配置。 在《Elastic-Job-Lite 源码分析 —— 作业配置》的「2.2.1 作业类型配置」有详细解析。 cpuCount, memoryMB 配置单片作业占用的资源情况。
61410发布于 2019-10-29 - 来自专栏大数据与云原生
Spark源码分析-作业提交(spark-submit)
java命令，main class为SparkSubmit org.apache.spark.deploy.SparkSubmit 以 spark on yarn 为例 主要逻辑就是梳理参数，向yarn提交作业 submit org.apache.spark.deploy.SparkSubmit#runMain #主要生成提交作业的客户端进程所需的环境 org.apache.spark.deploy.yarn.Client#createApplicationSubmissionContext #rpc调用，向yarn RM发起作业提交请求 前面提到，spark向yarn提交作业的client类是org.apache.spark.deploy.yarn.YarnClusterApplication 向k8s提交作业的client类是org.apache.spark.deploy.k8s.submit.KubernetesClientApplication 下面主要分析下这个类提交作业流程。 向k8s提交作业，主要就是生成DriverPod的YAML内容，然后周期性监听并记录driverPod的日志。
1.4K30编辑于 2022-03-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号