- 综合排序
- 最热优先
- 最新优先
- 来自专栏Hadoop数据仓库
MADlib——基于SQL的数据挖掘解决方案（2）——MADlib基础
即便如此，MADlib的易用性已经足以引起我们的兴趣。在了解了MADlib是什么及其优缺点后，用户就能根据自己的实际情况和需求，有针对性地选择和使用MADlib来实现特定业务目标。 2. 架构 MADlib架构如图1所示。 ? 图1 MADlib架构 处于架构最上面一层是用户接口。 三、MADlib的功能 MADlib的功能特色如图2所示。 ? 图2 MADlib功能 下面基于MADlib 1.1.10版本，预览MADlib提供的具体模型算法或功能。 经过测试，本环境只有MADlib 1.10.0版本的文件可以正常安装。 ? 图3 下载MADlib安装文件 3.
3.3K111发布于 2018-01-03 - 来自专栏Hadoop数据仓库
HAWQ + MADlib 玩转数据挖掘之（三）——向量
select id, madlib.dist_norm1(a, b), madlib.dist_norm2(a, b), madlib.dist_pnorm(a , madlib.cosine_similarity(a, b), madlib.dist_angle(a, b), madlib.dist_tanimoto( select madlib.get_row(m, 1) as row_1, madlib.get_row(m, 2) as row_2, madlib.get_row(m, select madlib.avg(v), madlib.normalized_avg(v), madlib.matrix_agg(v) from vector; select madlib.svec_proj('{1,2,3}:{4,5,6}'::madlib.svec, 1) + madlib.svec_proj('{4,5,6}:{1,2,3}'::madlib.svec
1.1K100发布于 2018-01-03 - 来自专栏数据派THU
原创 | 手把手带你玩转Apache MADlib
整个项目和代码是在Apache上是开源的，已经正式发布了MADlib 1.14、MADlib 1.15、MADlib 1.15.1、MADlib 1.16 等多个正式版本。 映像：docker Pull madlib/postgres”U 9.6:latest ##2）启动与MADlib映像对应的容器，将源代码文件夹装入容器：docker run-d-it--name MADlib-v （incubator-madlib目录的路径）：/incubator MADlib/MADlib/postgres U 9.6其中incubator-madlib是MADlib源代码所在的目录。 :docker exec-it MADlib bashmkdir/incubator madlib/build docker cd/incubator madlib/build docker cmake 首先，根据 安装指南中的说明重建并重新安装MADLib，并使用MADlib快速入门指南中的 pati ents数据集进行测试。
1.7K10编辑于 2022-06-24 - 来自专栏Hadoop数据仓库
HAWQ + MADlib 玩转数据挖掘之（一）——安装
（1）解压缩 tar -zxvf madlib-ossv1.10.0_pv1.9.7_hawq2.1-rhel5-x86_64.tar.gz （2）安装MADlib的gppkg文件 gppkg -i madlib-ossv1.10.0 （3）在指定数据库中部署MADlib $GPHOME/madlib/bin/madpack install -c /dm -s madlib -p hawq 该命令在HAWQ的dm数据库中建立 命令输出如下： [gpadmin@hdp3 Madlib]$ $GPHOME/madlib/bin/madpack install-check -c /dm -s madlib -p hawq madpack.py hawq2.1 （2）删除rpm包 gppkg -r madlib-ossv1.10.0_pv1.9.7_hawq2.1 参考： MADlib官网 数据库数据分析扩展—MADlib MADlib 一张图看懂 MADlib能干什么 Apache MADlib Installation Guide How to install or uninstall MADlib
1.6K70发布于 2018-01-03 - 来自专栏Hadoop数据仓库
HAWQ + MADlib 玩转数据挖掘之（二）——矩阵
矩阵是Madlib中数据的基本格式，通常是二维的。在Madlib中，数组的概念与向量类似，数组通常是一维的，是矩阵的一种特殊形式。 一、矩阵表示 MADlib为矩阵提供了两种表示形式：稠密和稀疏。 1. select id, madlib.array_min(array1), madlib.array_max(array1), madlib.array_min_index (array1), madlib.array_max_index(array1), madlib.array_mean(array1), madlib.array_stddev select id, madlib.array_dot(array1, array2), madlib.array_sum(madlib.array_mult(array1
1.7K60发布于 2018-01-03 - 来自专栏Hadoop数据仓库
MADlib——基于SQL的数据挖掘解决方案（3）——数据类型之向量
图1 两个向量以及它们的和与差 二、MADlib中的向量操作函数 在MADlib中，一维数组与向量具有相同的含义。 select id, madlib.array_scalar_mult(array1,5), madlib.array_add (madlib.array_scalar_mult select id, madlib.array_scalar_mult(madlib.array_add(array1, array2),3), madlib.array_add }'::float8[]::madlib.svec),('{10,0,3}'::float8[]::madlib.svec), ('{0,0,3}'::float8[]::madlib.svec), dm=# select madlib.svec_change('{1,2,3}:{4,5,6}' dm(# ::madlib.svec,3,'{2}:{3}'::madlib.svec)
2.1K21发布于 2019-05-25 - 来自专栏各类技术文章~
如何使用 SQL 对数据进行分析？
同时在机器学习上，配合 Madlib 项目可以让 PostgreSQL 如虎添翼。Madlib 包括了多种机器学习算法，比如分类、聚类、文本分析、回归分析、关联规则挖掘和验证分析等功能。 Docker 安装 MADlib+PostgreSQL 拉取 docker 镜像(这个镜像提供了需要的 postgres 等环境,并没有安装 madlib) ： docker pull madlib/postgres docker run -d -it --name madlib -v /home/git-repo/github/madlib:/incubator-madlib/ madlib/postgres_9.6 启动容器后,连接容器编译 MADlib 组件，编译用时约 30 分钟： docker exec -it madlib bash mkdir /incubator-madlib/build-docker /madlib:/incubator-madlib/ madlib/postgres_9.6 连接容器进行交互(发现新容器还是没有安装，但是不用编译了，安装也很快，装完测试一下) docker exec
2.4K30发布于 2021-10-22 - 来自专栏IT大咖说
Apache顶级开源项目——机器学习库MADlib简介与应用实例
我们希望MADlib能给数据科学家们提供一个极好的机器学习和数据分析平台。 MADlib用户 MADlib有非常广泛的用户群体。 MADlib功能 ? 如上图所示，这个列表是目前MADlib所支持的算法。 MADlib的工作原理 ? 以上就是对MADlib的初步介绍，相信大家已经对MADlib有了一个初步的了解。接下来是两个用户案例。 用户案例1 -Greenplum + MADlib助力邮件营销 首先介绍一个下案例的背景。 验证阶段，MADlib提供了很多validation的函数，最后，MADlib函数可以对新的data进行预测。 从数据准备到特征选择，再到建模，验证和预测，MADlib提供了所有的相关函数。
1.1K80发布于 2018-04-04 - 来自专栏Hadoop数据仓库
OushuDB入门（八）——AI篇
即便如此，MADlib的易用性已经足以引起我们的兴趣。在了解了MADlib是什么及其优缺点后，用户就能根据自己的实际情况和需求，有针对性地选择和使用MADlib来实现特定业务目标。 2. 架构 MADlib架构如图1所示。 ? 图1 MADlib架构 处于架构最上面一层是用户接口。 三、MADlib的功能 MADlib的功能特色如图2所示。 ? 图2 MADlib功能 下面基于MADlib 1.10版本，预览MADlib提供的具体模型算法或功能。 各模块函数的使用方法及其示例参见专题“MADlib——基于SQL的数据挖掘解决方案”。 参考： MADlib——基于SQL的数据挖掘解决方案（2）——MADlib基础
64210发布于 2019-05-25 - 来自专栏Hadoop数据仓库
MADlib——基于SQL的数据挖掘解决方案（4）——数据类型之矩阵
MADlib中的向量是一维数组，可看作是矩阵的一种特殊形式。MADlib的矩阵运算模块（matrix_ops）实现SQL中的矩阵操作。 二、MADlib中的矩阵表示 MADlib支持稠密和稀疏两种矩阵表示形式，所有矩阵运算都以任一种表示形式工作。 1. （6）按指定维度求和 select madlib.matrix_sum('mat_b_sparse', 'row=row_id, col=col_id,val=val', 1), madlib.matrix_sum （12）获取行列维度数 select madlib.matrix_ndims('mat_a','row=row_id, val=row_vec'), madlib.matrix_ndims : Function"madlib.
2.4K10发布于 2019-05-25 - 来自专栏Hadoop数据仓库
MADlib——基于SQL的数据挖掘解决方案（5）——数据转换之邻近度
本篇先从讨论相似性和相异性的基本概念，然后对照概念说明MADlib的线性代数函数，并用简单示例描述这些函数的用法。 二、MADlib的邻近度相关函数 1. 函数概览 利用MADlib提供的邻近度相关函数，可以很方便地实现新算法。 函数示例 （1）范数 select madlib.norm1('{1,-2,3}'),madlib.norm2('{1,-2,3}'); 结果： norm1 | norm2 (m, 1) as row_1, madlib.get_row(m, 2) as row_2, madlib.get_row(m, 3) as row_3, madlib.get_col(m, 1) as col_1, madlib.get_col(m, 2) as col_2 from matrix; 结果： row
1.3K20发布于 2019-05-25 - 来自专栏企鹅号快讯
Apache顶级开源项目——机器学习库MADlib简介与应用实例
我们希望MADlib能给数据科学家们提供一个极好的机器学习和数据分析平台。 MADlib用户 MADlib有非常广泛的用户群体。 MADlib功能 如上图所示，这个列表是目前MADlib所支持的算法。 使用MADlib调用pagerank的步骤如下：select MADlib.pagerank(),这里需要几个输入。 以上就是对MADlib的初步介绍，相信大家已经对MADlib有了一个初步的了解。接下来是两个用户案例。 用户案例1 -Greenplum + MADlib助力邮件营销 首先介绍一个下案例的背景。 验证阶段，MADlib提供了很多validation的函数，最后，MADlib函数可以对新的data进行预测。 从数据准备到特征选择，再到建模，验证和预测，MADlib提供了所有的相关函数。
2.3K100发布于 2018-01-24 - 来自专栏7DGroup
如何使用 SQL 对数据进行分析？
同时在机器学习上，配合 Madlib 项目可以让 PostgreSQL 如虎添翼。Madlib 包括了多种机器学习算法，比如分类、聚类、文本分析、回归分析、关联规则挖掘和验证分析等功能。 Docker 安装 MADlib+PostgreSQL 拉取 docker 镜像(这个镜像提供了需要的 postgres 等环境,并没有安装 madlib) ： docker pull madlib/postgres docker run -d -it --name madlib -v /home/git-repo/github/madlib:/incubator-madlib/ madlib/postgres_9.6 启动容器后,连接容器编译 MADlib 组件，编译用时约 30 分钟： docker exec -it madlib bash mkdir /incubator-madlib/build-docker /madlib:/incubator-madlib/ madlib/postgres_9.6 连接容器进行交互(发现新容器还是没有安装，但是不用编译了，安装也很快，装完测试一下) docker exec
2.9K10发布于 2020-02-12 - 来自专栏Hadoop数据仓库
MADlib——基于SQL的数据挖掘解决方案（11）——回归之线性回归
四、MADlib的线性回归相关函数 1. 68.7 77.5 95.9 137.4 155.0 175.0 表4 商品零售总额与职工工资总额 该问题只有两个变量，是典型的一元回归问题，先要确定是否是线性的，当确定是线后就可以利用MADlib \x off select a, b, predict, b - predict residual from (select t1.*, madlib.linregr_predict , (3.9,15,5.8,35.1); -- 训练线性模型 drop table if exists t1_linregr, t1_linregr_summary; select madlib.linregr_train off select x1, x2, x3, y, predict, y - predict residual from (select t1.*, madlib.linregr_predict
1.1K10发布于 2019-05-25 - 来自专栏Hadoop数据仓库
MADlib——基于SQL的数据挖掘解决方案（21）——分类之KNN
二、MADlib中KNN函数 MADlib提供的KNN函数仍然处于早期开发阶段。将来的版本会解决一些问题，并且接口和实现可能会发生变化。 正如前面所讨论的，MADlib的KNN函数以训练数据集作为输入数据点，训练数据集中包含测试样例中的特征，函数在训练集中为测试集中的每个数据点查找K个最近点。KNN函数的输出取决于任务类型。 72 90 TRUE Play overcast 81 75 FALSE Play rain 71 80 TRUE Don’t Play 表3 两周天气与是否打高尔夫球数据 我们将利用MADlib 运行KNN分类 drop table if exists madlib_knn_result_classification; select * from madlib.knn( 查看输出结果 select * from madlib_knn_result_classification order by id; 结果： id | data
1.2K30发布于 2019-05-25 - 来自专栏Hadoop数据仓库
Greenplum 实时数据仓库实践（10）——集成机器学习库MADlib
目录 10.1 MADlib基本概念 10.1.1 MADlib是什么 10.1.2 MADlib的设计思想 10.1.3 MADlib的工作原理 10.1.4 MADlib的执行流程 10.1.5 MADlib 架构 10.2 MADlib的功能 10.2.1 MADlib支持的模型类型 10.2.2 MADlib的主要功能模块 10.3 MADlib的安装与卸载 10.3.1 确定安装平台 10.3.2 安装 为了更好地使用MADlib，我们将简要说明它的设计思想、工作原理、执行流程和基础架构，还将罗列MADlib支持的模型和主要功能模块，然后说明MADlib软件包的安装与卸载。 图10-2 MADlib执行流程 10.1.5 MADlib架构 MADlib架构如图1-3所示。 图10-3 MADlib架构 处于架构最上面一层的是用户接口。 图10.4 MADlib主要功能模块 下面基于MADlib 1.10版本预览MADlib提供的具体模型算法或功能。 1.
1.4K20编辑于 2022-04-13 - 来自专栏云计算行业
入门机器学习必备课：一站搞定概念+算法+实践
图1 In-database分析发展时间线 从时间线可以看出，2009年MAD Skills在VLDB的发表和2011年MADlib项目的诞生可以作为In-database分析的里程碑。 MADlib是由Pivotal Greenplum DB团队和高校联合研发的，参与的大学包括伯克利大学加州分校、斯坦福大学、威斯康辛麦迪逊大学、佛罗里达大学。 2017年MADlib正式毕业成为Apache顶级项目。 MADlib的工作，MADlib被认为是In-database分析的先驱者和领路人。 Greenplum，作为全球首个开源、多云数据平台，集成了包括MADlib在内的众多数据挖掘和分析的高级功能：地理信息的处理算法包、对文本处理的组件、Python或者R等一些数据科学家使用的算法包、图计算算法包等
23530编辑于 2023-05-29 - 来自专栏Hadoop数据仓库
MADlib——基于SQL的数据挖掘解决方案（23）——分类之SVM
二、MADlib中SVM相关函数 1. 三、示例 我们将利用MADlib的SVM相关函数解决根据天气情况预测是否打高尔夫球的问题。 1. 使用线性模型训练分类器 drop table if exists dt_golf_svm, dt_golf_svm_summary; select madlib.svm_classification ( 用线性模型进行预测 drop table if exists dt_golf_pred; select madlib.svm_predict('dt_golf_svm', 'dt_golf', 'id' 用不平衡模型预测 drop table if exists dt_golf_pred_gaussian; select madlib.svm_predict ('dt_golf_svm_gaussian
1.1K10发布于 2019-05-25 - 来自专栏Hadoop数据仓库
MADlib——基于SQL的数据挖掘解决方案（30）——模型评估之预测度量
运行平均绝对百分误差函数 drop table if exists table_out; select madlib.mean_abs_perc_error( 'test_set', 'table_out 运行均方误差函数 drop table if exists table_out; select madlib.mean_squared_error( 'test_set', 'table_out', ' 运行R2评分函数 drop table if exists table_out; select madlib.r2_score( 'test_set', 'table_out', 'pred', 'obs 运行调整后的R2评分函数 drop table if exists table_out; select madlib.adjusted_r2_score( 'test_set', 'table_out' 运行二元分类器度量函数 drop table if exists table_out; select madlib.binary_classifier( 'test_set', 'table_out',
69010发布于 2019-05-25 - 来自专栏Hadoop数据仓库
MADlib——基于SQL的数据挖掘解决方案（12）——回归之广义线性模型
MADlib1.10.0实现的分布族及其相应的连接函数如表1所示。 Gaussian） inverse of square, inverse, identity, log 泊松分布（Poisson） log, identity, square-root 表1 MADlib 1.10.0支持的连接函数 二、MADlib广义线性模型相关函数 1. 使用log连接函数 （1） 训练生成模型 drop table if exists t1_glm, t1_glm_summary; select madlib.glm( 't1', 与madlib.linregr_train线性回归训练函数不同，madlib.glm不返回R2决定系数，而是用对数似然值评估模型的拟合程度。统计学中，似然函数是一种关于统计模型参数的函数。
1.2K20发布于 2019-05-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号