首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Hank’s Blog

    4-4 R语言函数 tapply

    #对向量的子集进行操作 #tapply(参数):tapply(向量,因子/因子列表,函数/函数名) > x <- c(rnorm(5),runif(5),rnorm(5,1)) > f <- gl(3,5) > f [1] 1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 Levels: 1 2 3 > tapply(x,f,mean) 1 2 3 -0.5004154 0.4044779 0.9769996 > tapply

    37310发布于 2020-09-16
  • 来自专栏AI机器学习与深度学习算法

    机器学习入门 4-4 分类精度

    本系列是《玩转机器学习教程》一个整理的视频笔记。本小节主要介绍kNN算法的分类精度以及在sklearn中的实现。

    92400发布于 2019-11-13
  • 来自专栏大数据成神之路

    Flink1.16 SQL Gateway 迁移Hive SQL任务实战

    使用Flink的SQL Gateway迁移Hive SQL任务 前言 我们有数万个离线任务,主要还是默认的DataPhin调度CDP集群的Hive On Tez这种低成本任务,当然也有PySpark、打 Jar包的Spark和打Jar包的Flink任务这种高成本的任务【Java和Scala都有】。 毕竟SQL上手门槛极低,是个人都能写几下并且跑起来,还可以很容易看到run成功的数据长得像不像。其实HQL任务的性能并不会好到哪里去,主要是SQL Boy便宜,无脑堆人天就可以线性提升开发速度。 但是执行引擎必须能把SQL字符串给解析成具体的执行计划或者底层任务。 Flink1.16.0使用了这么一个可插拔的插件,将HQL解析为Logical Plan逻辑计划。 可以看到流式的SQL任务,开发成本肯定比Java和Scala写DataStreaming算子低!!!利好SQL Boy。

    1.7K21编辑于 2023-02-01
  • 来自专栏工厂程序员

    SQL Server 新增自动执行任务

    第一步右击SQL Server代理,新建作业 ? 第二步选择常规,给你要执行的计划命名 ? 第三步选择步骤,然后给步骤命名,选择类型,数据库,输入你要执行的语句。 ? 最后要记得把SQL Server服务启动起,右击计算机——>管理——>服务和应用程序 ?

    96160发布于 2019-09-10
  • 来自专栏王磊的博客

    使用SQL Server作业设置定时任务

    1.开启SQL Server Agent服务   使用作业需要SQL Agent服务的支持,并且需要设置为自动启动,否则你的作业不会被执行。 以下步骤开启服务:开始-->>>运行-->>>输入"services.msc"-->>>进入服务,开启SQL Server Agent服务,并设置为自动。 如图: ? 2.新建作业   点击"SQL Server代理","右击作业",选择"新建作业" ? 3.设置新建作业的名称以及说明 ? 4.设置任务的执行步骤 选择"步骤"选项,点击"新建"添加第一条步骤:插入数据,点击"确定"。 ? ? 我们还可以接着新建新的步骤,同时在新建步骤的对话框中的高级选项中做更多设置,这里就不在赘述了。

    2.1K40发布于 2018-04-26
  • 来自专栏育种数据分析之放飞自我

    笔记 | GWAS 操作流程4-4:LM模型+数值+因子协变量

    GWAS分析时,无论是一般线性模型,还是广义线性模型,都要对协变量进行处理。数值类型的协变量(比如初生重数值协变量,PCA的值)直接加进去,因子协变量(比如不同的年份,不同的地点,场等)需要转化为虚拟变量。

    1.7K10发布于 2020-05-29
  • 来自专栏全栈程序员必看

    java基础案例4-4学生和老师「建议收藏」

    发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/151728.html原文链接:https://javaforall.cn

    81120编辑于 2022-08-31
  • 来自专栏大数据杂谈

    如何用 Python 执行常见的 Excel 和 SQL 任务

    有些人使用 Excel,有些人使用SQL,有些人使用Python。对于某些任务,使用 Python 的优点是显而易见的。以更快的速度处理更大的数据集。使用基于 Python 构建的开源机器学习库。 大多数数据分析师可能熟悉 SQL 或 Excel。本教程是涉及帮助你将技能和技术从 EXcel 和 SQL 转移到 Python。 首先,让我们来设置 Python。 导入数据 你可以导入.sql 数据库并用 SQL 查询中处理它们。在Excel中,你可以双击一个文件,然后在电子表格模式下开始处理它。 我们将要重命名某些列,在 Excel 中,可以通过单击列名称并键入新名称,在SQL中,你可以执行 ALTER TABLE 语句或使用 SQL Server 中的 sp_rename。 如果你可以弄清楚,你将会很好地将 SQL 或 Excel 知识转移到 Python 中。

    13.6K60发布于 2018-04-19
  • 来自专栏数据仓库践行者

    从一个sql任务理解spark内存模型

    1、spark内存模型理解 上一篇在内存模型理解部分描述不当,以下是我重新整理后的,有需要的可以琢磨琢磨,不管是日常任务调优,还是面试 总会起点作用吧: ? execution与storage 两个模块可以互相借用空间(动态占用机制),但有个前提,就是对方有足够的空间(默认情况下各占 50%,由spark.memory.storageFraction参数决定,在这次任务

    97420发布于 2020-04-22
  • 来自专栏爱可生开源社区

    SQL审核 | 如何利用 OpenAPI 实现自己的扫描任务

    ,由 sqle 解析扫描 sql 、也可以将 Mybatis 传输到 sqle 中扫描解析其中的 sql ,所以 sqle 的智能扫描任务是非常强大的,那智能扫描能解析那些数据呢? Authorization该扫描任务的访问凭证请求的 body 是 {"audit_plan_sql_list": [ { "audit_plan_sql_counter ) "audit_plan_sql_schema": "db1" #还不知道 } ] }经过发送后就可以在该扫描任务的详情页面看到你的sql图片在这个任务到达审核时间 于是我写了小工具,可以将文件或者文件夹里的 sql 扫描出来并上传到指定的扫描任务中自定义配置文件host: your IP and portpath: your sql file path eg: 并且将解析的 sql 传送到 sqle 的扫描任务中了,同时可以根据自己的实际情况增加不同的功能。

    1.7K40编辑于 2022-10-21
  • 来自专栏数据仓库践行者

    从一个sql任务理解spark内存模型

    之前是只知道内存模型理论上是怎么样的,这次拿到一个具体的任务,具体的executor来做对照分析,加深理解,在调内存参数时,也能有个依据。 ? 1、背景 下面是一个sql任务的executor界面: ? 该任务运行没有报oom,能正够正常执行完毕,但观察executor Summary页面,有大量executor GC时间过长(GC时长已经超过总任务时长的10%,一般GC时长建议控制在总任务时长的5%以内

    1.9K20发布于 2020-04-21
  • 来自专栏java 微风

    quartz 任务调试 建表 sql 语句、create table语句

    DROP TABLE IF EXISTS QRTZ_FIRED_TRIGGERS; DROP TABLE IF EXISTS QRTZ_PAUSED_TRIGGER_GRPS; DROP TABLE IF EXISTS QRTZ_SCHEDULER_STATE; DROP TABLE IF EXISTS QRTZ_LOCKS; DROP TABLE IF EXISTS QRTZ_SIMPLE_TRIGGERS; DROP TABLE IF EXISTS QRTZ_SIMPROP_TRI

    1.8K30编辑于 2022-04-13
  • 来自专栏网络安全攻防

    【神兵利器】若依最新定时任务SQL注入

    项目介绍 若依最新定时任务SQL注入可导致RCE漏洞的一键利用工具, 扫描和漏洞利用结束会自行删除所创建的定时任务 工具使用 (1) 单个检测 因为该漏洞为后台任务,所以我们需要配置Cookie请求头, 点击设置-->请求头设置-->添加Cookie即可,添加完成即可进行漏洞检测 (2) 漏洞利用 当定时任务存在SQL注入时,我们可以使用JNDI进行漏洞利用,首先我们需要下载cckuailong师傅的JNDI-Injection-Exploit-Plus

    76810编辑于 2024-12-06
  • 来自专栏cwl_Java

    C++编程之美-数学之趣(代码清单4-4)

    代码清单4-4 #include <string.h> int main() { bool flag; bool IsUsed[10]; int number, revert_number

    19930编辑于 2022-11-30
  • 来自专栏Python数据科学

    用Python执行SQL、Excel常见任务?10个方法全搞定!

    有些人使用 Excel,有些人使用SQL,有些人使用Python。对于某些任务,使用 Python 的优点是显而易见的。以更快的速度处理更大的数据集。使用基于 Python 构建的开源机器学习库。 大多数数据分析师可能熟悉 SQL 或 Excel。本篇是涉及帮助你将技能和技术从 EXcel 和 SQL 转移到 Python。 首先,让我们来设置 Python。 01 导入数据 你可以导入.sql 数据库并用 SQL 查询中处理它们。在Excel中,你可以双击一个文件,然后在电子表格模式下开始处理它。 我们将要重命名某些列,在 Excel 中,可以通过单击列名称并键入新名称,在SQL中,你可以执行 ALTER TABLE 语句或使用 SQL Server 中的 sp_rename。 如果你可以弄清楚,你将会很好地将 SQL 或 Excel 知识转移到 Python 中。

    10.7K20发布于 2019-07-19
  • 来自专栏爱可生开源社区

    SQL 审核 | MyBatis 扫描任务现已支持更多数据源

    扫描任务审核报告支持下载 本期已实现扫描任务审核报告的下载功能。当用户需要将扫描任务产生的审核报告同步给项目外的其他人,或需要对审核报告进行存档时,可以直接下载报告文件。 以下是简单的功能试用: 查看扫描任务的审核报告时,用户点击下载扫描任务报告按钮。 平台将以 CSV 格式导出当前扫描任务报告内容,用户可以在导出文件中查看报告基本信息及 SQL 审核结果。 2. 平台所有数据源类型均已支持 MyBatis 扫描任务 目前,平台支持的数据源类型都已提供 MyBatis 扫描任务,MyBatis 扫描任务监测的 SQL 将不再局限于 MySQL 数据源类型。 Server 三、完整的 Release 信息 # 社区版 新特性: [#1767] 支持导出智能扫描任务的审核报告 [#1743] 新增 MySQL审核规则 [#1764] MyBatis 智能扫描任务支持所有类型的数据源 SQL 审核 | SQLE 2.2307.0 来啦! SQL 审核 | SQLE 2.2306.0 来啦! SQL 审核 | SQLE 2.2305.0 来啦!

    44050编辑于 2023-09-09
  • 来自专栏大数据-BigData

    Flink SQL Gateway提交任务到flink on k8s集群

    Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。 在Flink 1.16版本,官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。 创建Flink SQL Gateway Deployment 有了上述Flink Session集群的连接端口,那么即可通过如下描述文件启动Flink SQL Gateway Deployment -- Flink SQL Gateway,以下是使用Postman的例子: 获取Flink版本信息 打开一个Session 记下上述sessionHandle并添加到查询SQL的URL中,如下所示 -1.17/docs/dev/table/sql-gateway/overview/ 与此同时,还可以将Flink SQL Gateway Deployment封装为Helm项目,简化部署。

    1.9K40编辑于 2023-10-18
  • 来自专栏大数据-BigData

    Flink SQL Gateway提交任务到flink on k8s集群

    Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。 在Flink 1.16版本,官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。 创建Flink SQL Gateway Deployment 有了上述Flink Session集群的连接端口,那么即可通过如下描述文件启动Flink SQL Gateway Deployment -- Flink SQL Gateway,以下是使用Postman的例子: 获取Flink版本信息 打开一个Session 记下上述sessionHandle并添加到查询SQL的URL中,如下所示 -1.17/docs/dev/table/sql-gateway/overview/ 与此同时,还可以将Flink SQL Gateway Deployment封装为Helm项目,简化部署。

    1.5K30编辑于 2023-10-18
  • 来自专栏全栈程序员必看

    SQL 开发任务超 50% !滴滴实时计算的演进与优化

    到 2019 年为止,滴滴基本上完成了流计算引擎的统一,除了少量残留的历史业务之外,现在绝大多数业务都是以 Flink 为基础的,目前在滴滴通过 SQL 开发的任务也已经超过了 50%,SQL 开发成为了主流方式 流计算集群的规模大致在千台级别,目前流计算任务数达到了 3 千多个,其中绝大多数是使用 SQL 开发的,集群每天处理的数据量会达到上万亿条。 第三方面,滴滴的 StreamSQL 还兼容了 Hive UDX,如果用户原来使用的 Hive SQL,而又想要将任务实时化,基本上逻辑不需要发生太大变化。 进一步来说,可以根据 SQL 消费的 Source 来判断到底是批计算任务还是流计算任务,如此实现产品的批流一体化体验。 多语言:虽然今天在滴滴大部分实时任务都是通过 SQL 来开发的,但是依旧不能100%覆盖全部的场景,有些场景下是需要写代码的。

    77120编辑于 2022-09-05
  • 来自专栏用户画像

    1、根据SC数据库用SQL语句完成以下任务

    update SC set Grade=Grade+5 whereGrade<60;

    53420发布于 2018-08-27
领券