- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据成神之路
Flink1.16 SQL Gateway 迁移Hive SQL任务实战
使用Flink的SQL Gateway迁移Hive SQL任务 前言 我们有数万个离线任务，主要还是默认的DataPhin调度CDP集群的Hive On Tez这种低成本任务，当然也有PySpark、打 Jar包的Spark和打Jar包的Flink任务这种高成本的任务【Java和Scala都有】。 毕竟SQL上手门槛极低，是个人都能写几下并且跑起来，还可以很容易看到run成功的数据长得像不像。其实HQL任务的性能并不会好到哪里去，主要是SQL Boy便宜，无脑堆人天就可以线性提升开发速度。 但是执行引擎必须能把SQL字符串给解析成具体的执行计划或者底层任务。 Flink1.16.0使用了这么一个可插拔的插件，将HQL解析为Logical Plan逻辑计划。 可以看到流式的SQL任务，开发成本肯定比Java和Scala写DataStreaming算子低！！！利好SQL Boy。
1.7K21编辑于 2023-02-01 - 来自专栏工厂程序员
SQL Server 新增自动执行任务
第一步右击SQL Server代理，新建作业 ? 第二步选择常规，给你要执行的计划命名 ? 第三步选择步骤，然后给步骤命名，选择类型，数据库，输入你要执行的语句。 ? 最后要记得把SQL Server服务启动起，右击计算机——>管理——>服务和应用程序 ?
94860发布于 2019-09-10 - 来自专栏王磊的博客
使用SQL Server作业设置定时任务
1.开启SQL Server Agent服务 使用作业需要SQL Agent服务的支持，并且需要设置为自动启动，否则你的作业不会被执行。 以下步骤开启服务:开始-->>>运行-->>>输入"services.msc"-->>>进入服务,开启SQL Server Agent服务，并设置为自动。 如图: ? 2.新建作业 点击"SQL Server代理"，"右击作业"，选择"新建作业" ? 3.设置新建作业的名称以及说明 ? 4.设置任务的执行步骤 选择"步骤"选项,点击"新建"添加第一条步骤：插入数据,点击"确定"。 ? ? 我们还可以接着新建新的步骤，同时在新建步骤的对话框中的高级选项中做更多设置，这里就不在赘述了。
2K40发布于 2018-04-26 - 来自专栏大数据杂谈
如何用 Python 执行常见的 Excel 和 SQL 任务
有些人使用 Excel，有些人使用SQL，有些人使用Python。对于某些任务，使用 Python 的优点是显而易见的。以更快的速度处理更大的数据集。使用基于 Python 构建的开源机器学习库。 大多数数据分析师可能熟悉 SQL 或 Excel。本教程是涉及帮助你将技能和技术从 EXcel 和 SQL 转移到 Python。 首先，让我们来设置 Python。 导入数据 你可以导入.sql 数据库并用 SQL 查询中处理它们。在Excel中，你可以双击一个文件，然后在电子表格模式下开始处理它。 我们将要重命名某些列，在 Excel 中，可以通过单击列名称并键入新名称，在SQL中，你可以执行 ALTER TABLE 语句或使用 SQL Server 中的 sp_rename。 如果你可以弄清楚，你将会很好地将 SQL 或 Excel 知识转移到 Python 中。
13.6K60发布于 2018-04-19 - 来自专栏数据仓库践行者
从一个sql任务理解spark内存模型
1、spark内存模型理解 上一篇在内存模型理解部分描述不当，以下是我重新整理后的，有需要的可以琢磨琢磨，不管是日常任务调优，还是面试 总会起点作用吧： ? execution与storage 两个模块可以互相借用空间（动态占用机制），但有个前提，就是对方有足够的空间(默认情况下各占 50%，由spark.memory.storageFraction参数决定，在这次任务中
96420发布于 2020-04-22 - 来自专栏爱可生开源社区
SQL审核 | 如何利用 OpenAPI 实现自己的扫描任务
，由 sqle 解析扫描 sql 、也可以将 Mybatis 传输到 sqle 中扫描解析其中的 sql ，所以 sqle 的智能扫描任务是非常强大的，那智能扫描能解析那些数据呢？ Authorization该扫描任务的访问凭证请求的 body 是 {"audit_plan_sql_list": [ { "audit_plan_sql_counter ） "audit_plan_sql_schema": "db1" #还不知道 } ] }经过发送后就可以在该扫描任务的详情页面看到你的sql图片在这个任务到达审核时间 于是我写了小工具，可以将文件或者文件夹里的 sql 扫描出来并上传到指定的扫描任务中自定义配置文件host: your IP and portpath: your sql file path eg: 并且将解析的 sql 传送到 sqle 的扫描任务中了，同时可以根据自己的实际情况增加不同的功能。
1.7K40编辑于 2022-10-21 - 来自专栏数据仓库践行者
从一个sql任务理解spark内存模型
之前是只知道内存模型理论上是怎么样的，这次拿到一个具体的任务，具体的executor来做对照分析，加深理解，在调内存参数时，也能有个依据。 ? 1、背景 下面是一个sql任务的executor界面： ? 该任务运行没有报oom，能正够正常执行完毕，但观察executor Summary页面，有大量executor GC时间过长（GC时长已经超过总任务时长的10%，一般GC时长建议控制在总任务时长的5%以内
1.9K20发布于 2020-04-21 - 来自专栏java 微风
quartz 任务调试 建表 sql 语句、create table语句
DROP TABLE IF EXISTS QRTZ_FIRED_TRIGGERS; DROP TABLE IF EXISTS QRTZ_PAUSED_TRIGGER_GRPS; DROP TABLE IF EXISTS QRTZ_SCHEDULER_STATE; DROP TABLE IF EXISTS QRTZ_LOCKS; DROP TABLE IF EXISTS QRTZ_SIMPLE_TRIGGERS; DROP TABLE IF EXISTS QRTZ_SIMPROP_TRI
1.8K30编辑于 2022-04-13 - 来自专栏网络安全攻防
【神兵利器】若依最新定时任务SQL注入
项目介绍 若依最新定时任务SQL注入可导致RCE漏洞的一键利用工具, 扫描和漏洞利用结束会自行删除所创建的定时任务 工具使用 (1) 单个检测 因为该漏洞为后台任务,所以我们需要配置Cookie请求头， 点击设置-->请求头设置-->添加Cookie即可,添加完成即可进行漏洞检测 (2) 漏洞利用 当定时任务存在SQL注入时,我们可以使用JNDI进行漏洞利用,首先我们需要下载cckuailong师傅的JNDI-Injection-Exploit-Plus
74310编辑于 2024-12-06 - 来自专栏Python数据科学
用Python执行SQL、Excel常见任务？10个方法全搞定！
有些人使用 Excel，有些人使用SQL，有些人使用Python。对于某些任务，使用 Python 的优点是显而易见的。以更快的速度处理更大的数据集。使用基于 Python 构建的开源机器学习库。 大多数数据分析师可能熟悉 SQL 或 Excel。本篇是涉及帮助你将技能和技术从 EXcel 和 SQL 转移到 Python。 首先，让我们来设置 Python。 01 导入数据 你可以导入.sql 数据库并用 SQL 查询中处理它们。在Excel中，你可以双击一个文件，然后在电子表格模式下开始处理它。 我们将要重命名某些列，在 Excel 中，可以通过单击列名称并键入新名称，在SQL中，你可以执行 ALTER TABLE 语句或使用 SQL Server 中的 sp_rename。 如果你可以弄清楚，你将会很好地将 SQL 或 Excel 知识转移到 Python 中。
10.6K20发布于 2019-07-19 - 来自专栏爱可生开源社区
SQL 审核 | MyBatis 扫描任务现已支持更多数据源
扫描任务审核报告支持下载 本期已实现扫描任务审核报告的下载功能。当用户需要将扫描任务产生的审核报告同步给项目外的其他人，或需要对审核报告进行存档时，可以直接下载报告文件。 以下是简单的功能试用： 查看扫描任务的审核报告时，用户点击下载扫描任务报告按钮。 平台将以 CSV 格式导出当前扫描任务报告内容，用户可以在导出文件中查看报告基本信息及 SQL 审核结果。 2. 平台所有数据源类型均已支持 MyBatis 扫描任务 目前，平台支持的数据源类型都已提供 MyBatis 扫描任务，MyBatis 扫描任务监测的 SQL 将不再局限于 MySQL 数据源类型。 Server 三、完整的 Release 信息 # 社区版 新特性： [#1767] 支持导出智能扫描任务的审核报告 [#1743] 新增 MySQL审核规则 [#1764] MyBatis 智能扫描任务支持所有类型的数据源 SQL 审核 | SQLE 2.2307.0 来啦！ SQL 审核 | SQLE 2.2306.0 来啦！ SQL 审核 | SQLE 2.2305.0 来啦！
42950编辑于 2023-09-09 - 来自专栏大数据-BigData
Flink SQL Gateway提交任务到flink on k8s集群
Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。 在Flink 1.16版本，官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。 创建Flink SQL Gateway Deployment 有了上述Flink Session集群的连接端口，那么即可通过如下描述文件启动Flink SQL Gateway Deployment -- Flink SQL Gateway，以下是使用Postman的例子： 获取Flink版本信息 打开一个Session 记下上述sessionHandle并添加到查询SQL的URL中，如下所示 -1.17/docs/dev/table/sql-gateway/overview/ 与此同时，还可以将Flink SQL Gateway Deployment封装为Helm项目，简化部署。
1.8K40编辑于 2023-10-18 - 来自专栏大数据-BigData
Flink SQL Gateway提交任务到flink on k8s集群
Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。 在Flink 1.16版本，官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。 创建Flink SQL Gateway Deployment 有了上述Flink Session集群的连接端口，那么即可通过如下描述文件启动Flink SQL Gateway Deployment -- Flink SQL Gateway，以下是使用Postman的例子： 获取Flink版本信息 打开一个Session 记下上述sessionHandle并添加到查询SQL的URL中，如下所示 -1.17/docs/dev/table/sql-gateway/overview/ 与此同时，还可以将Flink SQL Gateway Deployment封装为Helm项目，简化部署。
1.4K30编辑于 2023-10-18 - 来自专栏全栈程序员必看
SQL 开发任务超 50% ！滴滴实时计算的演进与优化
到 2019 年为止，滴滴基本上完成了流计算引擎的统一，除了少量残留的历史业务之外，现在绝大多数业务都是以 Flink 为基础的，目前在滴滴通过 SQL 开发的任务也已经超过了 50%，SQL 开发成为了主流方式 流计算集群的规模大致在千台级别，目前流计算任务数达到了 3 千多个，其中绝大多数是使用 SQL 开发的，集群每天处理的数据量会达到上万亿条。 第三方面，滴滴的 StreamSQL 还兼容了 Hive UDX，如果用户原来使用的 Hive SQL，而又想要将任务实时化，基本上逻辑不需要发生太大变化。 进一步来说，可以根据 SQL 消费的 Source 来判断到底是批计算任务还是流计算任务，如此实现产品的批流一体化体验。 多语言：虽然今天在滴滴大部分实时任务都是通过 SQL 来开发的，但是依旧不能100%覆盖全部的场景，有些场景下是需要写代码的。
75220编辑于 2022-09-05 - 来自专栏用户画像
1、根据SC数据库用SQL语句完成以下任务。
update SC set Grade=Grade+5 whereGrade<60;
52320发布于 2018-08-27 - 来自专栏腿子代码了专栏
JS同步任务微任务宏任务
只有执行完前一个任务，才能执行后一个任务。 待执行任务种类 在JavaScript待执行任务中，主要分为两类 同步任务 异步任务 同步任务 所谓同步任务，就是非耗时任务，在主线程当中直接执行的任务 例如 console.log('同步任务'); 等等都属于同步任务，同步任务，直接在JS单线程当中执行 异步任务 异步任务，又称耗时任务，异步任务的执行浪费时间，容易造成线程的堵塞。 异步任务又分为微任务与宏任务。 //异步任务 }) 宏任务 宏任务主要包括定时器、I/O等等 /* setTimeout setInterval I/O */ 执行优先级 在JS当中，其待执行任务的优先级为同步任务>微任务>宏任务 然后在次将微任务、宏任务依次拿出来执行，若是没有，则持续监听，直到有任务。
65240编辑于 2023-10-08 - 来自专栏EMQ 物联网
eKuiper 源码解读：从一条 SQL 到流处理任务的旅程
SQL 的语义去做出相应的读取与计算工作。 eKuiper 内部的 SQL 计算引擎在其中承担了解析、构造、优化与运行这总共 4 部分工作，即我们之后将重点关注 SQL 处理过程中的以下几个环节:SQL Parser 将 SQL 文本转换为 AST (sql) if err ! 构造与优化逻辑计划当 SQL 文本还解析为 AST 对象后，我们需要将该 AST 对象转换为一个可以用来描述该 SQL 应当被计算引擎如何执行的逻辑计划。 总结在本篇文章中，我们以梳理关键代码节点的方式了解了 eKuiper 的 SQL 计算引擎中是如何解析、处理，并最终执行这条 SQL 得到相应的结果。
58510编辑于 2023-05-16 - 来自专栏远在上海
FlowPortal BPM中有用的SQL：统计每个人待处理任务数量
通过AutoMate调度一下，每周自动发送一下邮件，省得每个步骤上都去单独设置提醒了。
1.2K30发布于 2019-05-30 - 来自专栏大数据与知识图谱
面试篇: SparkSql如何把Sql转化成RDD可以执行的任务
一、SparkSQL底层执行流程图 二、具体流程 1.SparkSql通过Parser（解析器）把Sql转化成UnResolved Logical Plan（这是一棵Parsed Logical Plan
1.9K10编辑于 2022-06-01 - 来自专栏全栈开发工程师
【Spring Boot】019-任务：异步任务、邮件任务、定时任务
最新更新：2020年9月22日08:11:25 一、异步任务 1、场景描述 如果服务器要进行一个操作，这个操作需要3秒时间，那么一般情况下前端用户需要的等待3秒之后才能继续，我们可以将这个耗时的任务定义为异步任务 [] args) { SpringApplication.run(SpringBootTaskApplication.class, args); } } 测试结果： 二、邮件任务 helper.setFrom("709570094@qq.com");//来源 mailSender.send(message); } } 测试结果： 三、定时执行任务 1、接口与注解 TaskScheduler接口：任务调度； TaskExecutor接口：任务执行； @EnableScheduling：开启定时任务注解功能； @Scheduled：指定执行时间；
43210编辑于 2025-01-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号