- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据进阶
flink(13)-flink on yarn源代码分析
session cluster和per job 因为是源码分析，所以会分为服务端和客户端两个部分的代码分析，下面我先看服务端
session cluster模式是类似standalone，先去向
session client和per job 由于flink不同的版本代码变动较大，所以在这里需要区分flink的版本进行一下说明 flink1.9之前的基本一致，提交至yarn的主要流程都在 到这里已经将所有的提交流程都说完了，大家对于flink争个提交流程应该有了更加清晰的认识。
最后在来说一下flink submit的接口,这是在flink-1.10才出现的一个新的统一，流程图如下
?
从上图可以看出来，AbstractSessionClusterExecutor中的主要调用逻辑其实和上面我们已经看到的session cluster的提交流程是一致的，只不过代码更加的抽象，1.6K30发布于 2020-04-24 - 来自专栏小道
Flink学习笔记(10) - CEP
复杂事件处理（Complex Event Processing，CEP） Flink CEP是在 Flink 中实现的复杂事件处理（CEP）库 CEP 允许在无休止的事件流中检测事件模式，让我们有机会掌握数据中重要的部分 一个或多个由简单事件构成的事件流 处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件 输出：满足规则的复杂事件 三、Pattern API 处理事件的规则，被叫做“模式”（Pattern） Flink
1.4K00编辑于 2022-09-01 - 来自专栏编程学习
日志代码编写
了解日志 日志是程序周期性运转或者特定时刻等一些常规或者特殊消息以特殊的形式打印出来，我们称为日志，关于日志，AI是这样回答的： 而我们今天要编写的日志，是使用C++编写的日志，日志格式为纯文本日志类型是应用程序日志 日志编写 ✈️日志等级 日志是有等级的，就类似程序在调试的时候分为警告，错误，和崩溃等 等级一般，日志也有自己的等级，不过这里需要人为的将日志等级进行分类。 "helloworld: %s", "word"); LogMessage(__FILE__, __LINE__, DEBUG, "helloworld: %s, %d", "word", 10 LINE__, level, format, ##__VA_ARGS__); \ } while (0) ✈️日志加锁 我们的日志可以适用于很多场景，多线程场景也不例外，所以，我们有必要对一些代码进行加锁 完整代码 Log.hpp： #pragma once #include <cstdio> #include <iostream> #include <time.h> #include <cstdarg
47810编辑于 2024-11-02 - 来自专栏大数据
Flink实战(10)-checkpoint容错保证
若 Flink 程序崩溃，重新运行程序时可以有选择地从这些快照进行恢复。Checkpoint 是 Flink 可靠性的基石。 slot 和并行度设置合理的并行度能够加快数据的处理Flink 每个算子都可以设置并行度Slot 使得 taskmanager 具有并发执行的能力Flink 任务和子任务从 Source 到 sink Flink内置的数据状态一致性端到端的数据状态一致性Flink 系统内部的数据状态一致性AT-MOST-ONCE(最多一次，已废除)发生故障，可能会丢失数据AT-LEAST-ONCE(至少一次)发生故障 消息不会因 Kafka broker 端发生的事件而丢失，但可能会在 Flink 重启时重复，因为 Flink 会重新处理旧数据。 只有当 source 参与快照机制，Flink 才能保证对自定义状态的精确一次更新。下表列举了 Flink 与其自带连接器的状态更新的保证。
59100编辑于 2024-08-06 - 来自专栏飞总聊IT
代码整洁之道-编写 Pythonic 代码
写出 Pythonic 代码 谈到规范首先想到就是 Python 有名的 PEP8 代码规范文档，它定义了编写Pythonic代码的最佳实践。 代码中的表达式和语句 users = [ {"first_name":"Helen", "age":39}, {"first_name":"Buck", "age":10}, 同时这段代码无法解决字典缺少键出现异常的问题。 让我们使用函数重写此代码，使代码更具可读性和正确性; 该函数将判断异常情况，编写起来要简单得多。 在多行上编写文档字符串是用更具描述性的方式记录代码的一种方法。你可以利用 Python 多行文档字符串在 Python 代码中编写描述性文档字符串，而不是在每一行上编写注释。 ，养成编写 Pythonic 代码的良好习惯。
2.2K20发布于 2019-10-31 - 来自专栏BigData_Flink
Flink中使用Scala编写出现(...)错误
A2 原因 没有导入相应包 A3 解决 在算子前添加 import org.apache.flink.api.scala._ ?
73910发布于 2021-04-12 - 来自专栏杨熹的专栏
编写生命代码
如各位所想，这项惊人的能力 可以让生命按照程序编写的一样 做你想让它做的事 得到你想得到的结果。 生命密码蕴含强大的力量。
934100发布于 2018-04-02 - 来自专栏兮动人的博客
C 代码编写规范
比如：2 + 4 * 5 也可以使用代码格式化快捷键 Ctrl+alt+L // 可以自己设置 VC++ 2010 设置快速格式化键：工具–>选项 ? 3.
97320发布于 2021-07-21 - 来自专栏兮动人的博客
C 代码编写规范
比如：2 + 4 * 5 3) 也可以使用代码格式化快捷键 Ctrl+alt+L // 可以自己设置 VC++ 2010 设置快速格式化键：工具-->选项 [在这里插入图片描述]3.
92860发布于 2021-06-30 - 来自专栏追不上乌龟的兔子
编写更好的代码
何为”更好”的代码本身就是仁者见仁，我们在这里主观地选择一个评价标准： 代码要满足安全性 ,可用性 ,可维护性 ,简洁性 , 高性能的要求，这几项的重要性递减。 毫无疑问编写代码本身是一件很难的事，但是在遵循一些指导原则的话，我们可以相对编写出更好的代码。 命名 有一句不太可考的名言是”计算机科学只存在两个难题：缓存失效和命名”。 不是每个程序员都要经常编写用到各种缓存机制的代码，但是我们每天都在不断地命名，好的命名需要遵从一些规则： 名副其实 我们要选择有意义的命名，date比d要好，index比i要好，list1和list2并没有比 每个代码块(if，while，for)中的代码也不宜很多，最好只是一条函数调用（有一个有意义的名称）。这也意味着函数的嵌套结构不要太复杂。 只做一件事 一般来说很长的函数也做了很多的事。 注释 好的代码描述自身的意图，当我们很难做到这一点时，才需要添加注释。 注释最大的问题是和代码相比，注释是缺乏维护的。
94930编辑于 2023-04-13 - 来自专栏ops技术分享
python代码编写规范
最近两年的工作都是和运维相关，有时运维人员也会写一些python程序，但基本上都没有遵循相应的代码规范，一向粗暴，能用就行，既不考虑可读性也不考虑可维护性，作为一个开发人员有时候看他们写代码就很不舒服， 今天就谈谈python写代码时的一些规范。 python的代码编写基本上都要遵循PEP8的风格。 对类或函数的功能及使用方法的详细说明应使用文档字符串 python的注释尽量使用英文 5.并发 I/O密集型，像web应用这样的场景应该使用多线程编程 计算密集型，像计算圆周率等场景应该使用多进程编程，尽可能利用多核CPU优势 当然在编写代码时你的某些编辑器如 我们编写代码不仅是要实现某种功能，就尽管它是核心，但是你的代码在以后极有可能会交给别人去维护，所以你写的代码应当尽可能地让人看懂，避免给别人留坑。
1.1K30发布于 2021-06-22 如何编写PTX 代码
编写 CUDA C/C++ 代码 使用 CUDA C/C++ 编写一个简单的内核函数（kernel）。 PTX 代码。 add.s32 %r5, %r3, %r4; cvta.to.global.u64 %SP, %SP; st.global.u32 [%SP], %r5; ret; } 二、直接编写 编写函数和指令 使用 PTX 的指令集编写您需要的内核函数。 生成可执行文件 可以将生成的目标文件（my_kernel.o）与其他 CUDA 代码或主机代码链接，生成最终的可执行文件。 通过以上步骤，您可以方便地获得或编写 PTX 代码。
1.2K10编辑于 2025-04-05- 来自专栏码客
Flink使用代码提交任务
前言 本文Flink使用版本1.12.7 代码提交任务 准备文件夹和文件 hadoop fs -mkdir -p /jar/userTask hadoop fs -mkdir -p /jar/flink12 /libdist hadoop fs -mkdir -p /jar/flink12/lib 拷贝需要的文件 hadoop fs -put $FLINK_HOME/examples/batch/WordCount.jar /jar/userTask/WordCount.jar hadoop fs -put $FLINK_HOME/lib/flink-dist_2.12-1.12.7.jar /jar/flink12/libdist /flink-dist_2.12-1.12.7.jar hadoop fs -put $FLINK_HOME/lib/* /jar/flink12/lib/ 查看文件可以访问这个地址 http://hadoop01 /version> </dependency> 代码 package cn.psvmc; import org.apache.flink.client.deployment.ClusterDeploymentException
2K30编辑于 2023-01-08 - 来自专栏前端桃园
使用 React 和 TypeScript something 编写干净代码的10个必知模式
干净代码(Clean code)[1]是一种一致的编程风格，它使代码更容易编写、读取和维护。任何人都可以编写计算机可以理解的代码，但是优秀的开发人员可以编写人类可以理解的干净的代码。 干净的代码是一种以读者为中心的开发风格，它提高了我们的软件质量和可维护性。 编写干净代码需要编写具有清晰和简单的设计模式的代码，这使得人们可以轻松地阅读、测试和维护代码。 因此，干净的代码可以降低软件开发的成本。这是因为编写干净的代码所涉及的原则，消除了技术债务。 在本文中，我们将介绍一些在使用 React 和 TypeScript 时使用的有用模式。 现在让我们来了解一下在使用 React 和 Typescript 时应用的 10 个有用模式: 1. 当使用 Typescript 和 React 时，函数组件可以通过两种方式编写: 像一个正常函数一样，如下面的代码： type Props = { message: string }; const Greeting
1.6K40编辑于 2022-03-30 - 来自专栏机器之心
编写完10万行代码，我发了篇长文吐槽Rust
然而，现在有人花费大量时间编写 10 万行 Rust 代码之后，撰写博客阐明 Rust 语言的一系列缺点，以下是博客的主要内容。 我们决定编写自己的操作系统而不是使用 SeL4、Tock、QNX 或 Linux 等现有实现，是因为我们想真正了设备中每一行代码都在做什么。 然而，Rust 的「std」库并没有为我们构建可审计的代码库带来任何好处。 Rust 不够完善 我们编写 Xous 的代码时，引入了一个叫作「const generic」的新类型。 在编写 Xous 的过程中，Rust 的内联汇编、工作空间等功能逐渐成熟，这意味着我们需要重新审视已经写好的代码，以使关键的初始启动代码集成进我们构建的系统。 针对这个问题，我编写了一个名为「crate-scraper」的小工具，它为我们的 Cargo.toml 文件中指定的每个源下载源包，并且将它们存储在本地，这样我们就可以获得用于构建 Xous 版本的代码快照
1.1K30编辑于 2022-06-27 - 来自专栏一日一工具
编写地道的Go代码
作者：iCaptain 链接：https://www.jianshu.com/p/29543b642485 來源：简书 共 3264 字，阅读需 8 分钟 最地道的Go代码就是Go的标准库的代码，有空的时候可以多看看 处理error而不是panic或者忽略 为了代码的强健性，不要使用_忽略错误，而是要处理每一个错误，尽管代码写起来有些繁琐也不要忽略错误； 尽量不要使用panic; 5. = 0 10. 检查是否包含子字符串 应使用strings.ContainesRune, strings.ContainesAny, strings.Contains 11.
63830发布于 2020-07-06 - 来自专栏多选参数
可读代码编写炸鸡一
但是在写代码的过程中，我逐渐发现一个问题，不仅是在学习还是工作上。 包括我在内，许多人的代码可读性其实一塌糊涂。先不从代码组织，设计模式这些较大的方面来说。 代码的编写规范，是很少人去注意的，这段时间，我的主程让我看一本书 ——《编写可读代码的艺术》，正好直击痛点，于是我打算写一写关于这个方面的东西。 编写这段代码的人都要小心 i，j，k 是否使用出错，阅读者的阅读难度也加大。 所以，循环变量不要宽泛不明确，也要加入更多的信息。 如下代码就是一个例子，编写者想的是，服务器是否准备就绪，只需要检查一下端口是否被占用即可。 那么如果是编写者自己封装的函数呢。 local starttime_ms = myClock() ...
55410发布于 2020-04-07 - 来自专栏终有链响
高性能代码如何编写？
随着应用程序规模的不断增长和用户对性能的不断提升的要求，开发人员需要更加关注如何编写高性能的代码，以确保应用程序能够在各种情况下都能保持稳定和高效。 编写高性能代码需要从多个方面入手，包括以下内容： 一、算法选择 1.1 快速排序（Quick Sort） 在Java中，Arrays.sort() 方法使用了一种改进的快速排序算法，通常情况下具有很好的性能 Gatling 使用 Scala 编写，提供了基于 DSL 的测试脚本编写方式，可以方便地编写复杂的性能测试场景。 结尾 对不同规模和类型的数据进行性能测试，确保代码在各种情况下都能保持高性能。 综上所述，编写高性能代码需要综合考虑算法、数据结构、并行计算、内存访问以及代码本身的优化等多个方面，通过不断优化和测试，逐步提高代码的性能水平。
52910编辑于 2024-07-29 - 来自专栏站长运维
代码规范和文档编写
代码规范和文档编写 Golang 的代码规范和文档编写指南 Golang 是一种高性能、并发性强的编程语言，越来越受到开发者们的喜爱。 但是，为了保证代码的可读性、可维护性和可扩展性，我们需要遵循一些编码规范和文档编写规范。本篇文章将介绍 Golang 的代码规范和文档编写指南。 1. 1.5 注释 注释应该清晰明了，并且应该解释代码的功能和目的。对于导出函数和类型，我们应该编写文档字符串，以便其他人可以阅读并理解它们。 Golang 的文档工具可以自动运行并测试示例代码，以确保它们是正确的。 3. 结论 以上就是 Golang 的代码规范和文档编写指南。 遵循这些规范可以使代码更易于维护和扩展，并且可以提高开发效率和代码质量。同时，使用 godoc 工具和编写示例代码可以帮助其他人了解你的代码和使用方式。
60810编辑于 2023-11-28 - 来自专栏行者常至
idea Java 代码编写规范
1.阿里巴巴Java开发手册 ---- 2.基于上面的idea代码检查插件 打开idea file–>setting–>plugins–>Browse repositories… 搜索alibaba可以看到
2.1K00发布于 2018-09-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号