- 综合排序
- 最热优先
- 最新优先
- 来自专栏流图计算
GeaFlow图计算快速上手之PageRank算法
GeaFlow介绍 GeaFlow(品牌名TuGraph-Analytics)是蚂蚁集团开源的分布式实时图计算引擎，目前广泛应用于金融风控、社交网络、知识图谱以及数据应用等场景。 GeaFlow整体架构如下所示： 图片 GeaFlow DSL GeaFlow对用户提供图表融合分析语言，采用SQL + ISO/GQL方式.用户可以通过类似SQL编程的方式编写实时图计算任务. GeaFlow Runtime GeaFlow运行时，包含GeaFlow图表算子、task调度、failover以及shuffle等核心功能. GeaFlow State GeaFlow的图状态存储，用于存储图的点边数据.同时流式计算的状态如聚合状态也存放在State中. K8S Deployment GeaFlow支持K8S的方式进行部署运行. GeaFlow Console GeaFlow的管控平台，包含作业管理、元数据管理等功能.
56010编辑于 2023-07-07 - 来自专栏ApacheHudi
图加速数据湖分析-GeaFlow和Apache Hudi集成
GeaFlow和Hudi集成 GeaFlow(品牌名TuGraph-Analytics)是蚂蚁自研的分布式实时图计算引擎，兼顾离线图计算能力。 GeaFlow以图模型作为基本的数据模型，在图模型基础之上定义了一套图计算的编程接口，同时和流式处理能力相结合，实现了流式图计算的能力。 在DSL语言层面，GeaFlow将表处理语言SQL和图查询语言ISO/GQL相结合，实现了图表一体的数据分析能力。通过GeaFlow图计算的能力，很好的解决了大规模数据关联关系计算的问题。 GeaFlow支持和多种数据源集成，包括Hudi。利用GeaFlow图计算的能力，可以对Hudi数据湖数据做关系物化，加速DWD层的查询性能和时效性，同时也可以基于图数据做更多复杂的图算法分析。 ` = '{\'fs.defaultFS\':\'namenode:9000\'}', geaflow.dsl.file.path='/path/to/hudi_knows' ); GeaFlow是一个流式图计算引擎
41320编辑于 2023-09-04 - 来自专栏流图计算
Kubernetes云原生实战：分布式GeaFlow实现图研发，构建第一个商业智能应用
后文将介绍基于分布式GeaFlow实现图研发，都采用类似的描述。 GeaFlow会在镜像中自动拉起MySQL、Redis、RocksDB、InfluxDB等必须组件。 部署K8S GeaFlow依赖K8S运行图研发作业，安装K8S后需要取得API地址。 安装GeaFlow GeaFlow提供一个分布式图计算引擎GeaFlow，同时提供一个完整的图研发管控平台Console。 用户可在系统内完成图数据创建、研发、运维等工作。 参考GeaFlow安装部署文档安装GeaFlow。 在集群配置步骤中，配置K8S集群到GeaFlow，填入K8S服务地址与前文提到的证书信息。 最后点击一键安装完成GeaFlow安装部署。 构图 一次构图 GeaFlow可以支持TB级别的超大规模图，使得用户构图完成后，轻松应对业务演进。
59350编辑于 2023-07-06 - 来自专栏流图计算
图加速数据湖分析-GeaFlow和Hudi集成
GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！ 欢迎给我们 Star 哦! GeaFlow和Hudi集成 GeaFlow(品牌名TuGraph-Analytics)是蚂蚁自研的分布式实时图计算引擎，兼顾离线图计算能力。 在DSL语言层面，GeaFlow将表处理语言SQL和图查询语言ISO/GQL相结合，实现了图表一体的数据分析能力。通过GeaFlow图计算的能力，很好的解决了大规模数据关联关系计算的问题。 GeaFlow支持和多种数据源集成，包括Hudi。利用GeaFlow图计算的能力，可以对Hudi数据湖数据做关系物化，加速DWD层的查询性能和时效性，同时也可以基于图数据做更多复杂的图算法分析。 ` = '{\'fs.defaultFS\':\'namenode:9000\'}', geaflow.dsl.file.path='/path/to/hudi_knows' ); GeaFlow是一个流式图计算引擎
44110编辑于 2023-07-12 - 来自专栏流图计算
GeaFlow图计算快速上手之K-hop算法
; import com.antgroup.geaflow.common.type.primitive.IntegerType; import com.antgroup.geaflow.common.type.primitive.StringType ; import com.antgroup.geaflow.dsl.common.data.RowEdge; import com.antgroup.geaflow.dsl.common.data.RowVertex ; import com.antgroup.geaflow.dsl.common.function.Description; import com.antgroup.geaflow.dsl.common.types.StructType ; import com.antgroup.geaflow.dsl.common.types.TableField; import com.antgroup.geaflow.model.graph.edge.EdgeDirection 平台 图片 注册khop函数，并在DSL中使用 set geaflow.dsl.window.size = -1; set geaflow.dsl.ignore.exception = true; CREATE
64941编辑于 2023-08-15 - 来自专栏流图计算
TuGraph Analytics图计算快速上手之K-core算法
;import com.antgroup.geaflow.dsl.common.algo.AlgorithmRuntimeContext;import com.antgroup.geaflow.dsl.common.algo.AlgorithmUserFunction ;import com.antgroup.geaflow.dsl.common.data.RowEdge;import com.antgroup.geaflow.dsl.common.data.RowVertex ;import com.antgroup.geaflow.dsl.common.data.impl.ObjectRow;import com.antgroup.geaflow.dsl.common.function.Description ;import com.antgroup.geaflow.dsl.common.types.StructType;import com.antgroup.geaflow.dsl.common.types.TableField 开源不易，如果你觉得还不错，可以给我们star支持一下～---GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！欢迎给我们 Star 哦!
64530编辑于 2023-09-04 - 来自专栏流图计算
论文解读｜TuGraph Analytics 流式图计算论文入选国际顶会 SIGMOD
图片 图片注：GeaFlow 为蚂蚁流式图计算引擎 TuGraph Analytics 内部代号，本文将沿用论文中所用 “GeaFlow”，便于读者对应。 Geaflow 在蚂蚁的风控、营销等场景也得到了非常广泛的应用，同时也在双十一大促中大放异彩。下面我们来剖析下 Geaflow 的运行场景和内部技术。 Geaflow 使用流式事件驱动的方式进行计算和查询，同时利用查询优化技术进行查询合并和加速。下面我们来描述下 Geaflow 的运行场景。 GeaFlow State GeaFlow 的状态存储，用于存取流、图数据。可以使用 KV 语义的状态，也可以使用图语义的状态。 如今 Geaflow 已成为蚂蚁最受欢迎的计算引擎之一。 接下来，我们计划在以下几个方面进一步发展 GeaFlow： 融合更多的图语义，例如具有增量语义的图计算算子。
75730编辑于 2023-07-05 - 来自专栏流图计算
GeaFlow图计算快速上手之SSSP算法
GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！ 欢迎给我们 Star 哦! GitHubhttps://github.com/TuGraph-family/tugraph-analytics 更多精彩内容，关注我们的博客 https://geaflow.github.io/ 今天我们使用GeaFlow帮助我们实现SSSP(单源最短路径算法)，来试一试盲人摸象！ GeaFlow(品牌名TuGraph-Analytics)是蚂蚁集团开源的分布式实时图计算引擎，目前广泛应用于金融风控、社交网络、知识图谱以及数据应用等场景。 支持图算法SSSP的基本原理以及在GeaFlow中的实现细节，并展示其在GitHub数据集上的一个应用。
62330编辑于 2023-07-25 - 来自专栏流图计算
TuGraph Analytics云原生部署：基于K8S Operator的轻量级作业启动方案
$ helm install geaflow-kubernetes-operator helm/geaflow-kubernetes-operator在K8S Dashboard中查看pod是否正常运行 $ kubectl apply geaflow-example.yml这里使用项目内置示例作业举例，其YAML文件格式如下：apiVersion: geaflow.antgroup.com/v1kind : GeaflowJobmetadata:# 作业名称 name: geaflow-examplespec:# 作业使用的GeaFlow镜像 image: geaflow:0.1 # 作业拉取镜像的策略 : LOCAL geaflow.store.redis.host: host.minikube.internal geaflow.store.redis.port: 6379 # 用户自定义参数配置 geaflow-example.yaml中提供Redis主机和端口号。
50310编辑于 2023-11-29 - 来自专栏流图计算
从大数据到图计算-Graph On BigData
GeaFlow整体架构 GeaFlow整体架构从上往下包含以下几层： 图片 GeaFlow DSL GeaFlow对用户提供图表融合分析语言，采用SQL + ISO/GQL方式.用户可以通过类似SQL编程的方式编写实时图计算任务 GeaFlow Runtime GeaFlow运行时，包含GeaFlow图表算子、task调度、failover以及shuffle等核心功能. GeaFlow State GeaFlow的图状态存储，用于存储图的点边数据.同时流式计算的状态如聚合状态也存放在State中. K8S Deployment GeaFlow支持K8S的方式进行部署运行. GeaFlow Console GeaFlow的管控平台，包含作业管理、元数据管理等功能. 总结 本文首先介绍了图计算引擎GeaFlow产生的历史背景，然后介绍了GeaFlow如何和大数据生态整合。并通过一个例子介绍了如何将Hive的数据转换成图并在图上运行一个SSSP算法。 ----
56020编辑于 2023-07-05 - 来自专栏流图计算
TuGraph Analytics动态插件：快速集成大数据生态系统
介绍插件机制介绍插件机制为GeaFlow任务提供了外部数据源的集成能力扩展，GeaFlow支持从各类Connector中读写数据，GeaFlow将它们都识别为外部表，并将元数据存储在Catalog中。 同时，GeaFlow Conosole平台为用户提供了插件管理的功能。 除此之外，在GeaFlow Console中，插件的概念更为广泛，还包含了一些系统级的插件，是GeaFlow作业运行所依赖的外部系统，例如运行时元信息插件(RUNTIME_META)、指标系统插件(METRIC 插件使用与管理新增插件在GeaFlow Console页面，“插件管理”模块中新增插件，填写插件名称方便管理，上传JAR包。 GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！欢迎给我们 Star 哦!
45720编辑于 2023-11-15 - 来自专栏流图计算
TuGraph任务能力增强：通过API定制流图计算逻辑
GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！ 欢迎给我们 Star 哦! GitHubhttps://github.com/TuGraph-family/tugraph-analytics 更多精彩内容，关注我们的博客 https://geaflow.github.io/ GeaFlow 在GeaFlow中，API支持Graph API和Stream API两种类型： Graph API：Graph是GeaFlow框架的一等公民，当前GeaFlow框架提供了一套基于GraphView的图计算编程接口 图片 Stream API：GeaFlow提供了一套通用计算的编程接口，包括source构建、流批计算及sink输出。在GeaFlow中支持Batch和Stream两种类型。 Stream API：流计算API，GeaFlow中StreamView是动态流的数据抽象，基于StreamView之上，可以进行流计算。
52430编辑于 2023-08-15 - 来自专栏流图计算
为什么使用图进行关联运算比表Join更具吸引力？
GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！ 欢迎给我们 Star 哦! 下图是GeaFlow中高性能构图的表现，可见构图操作本身极为迅速，且由于图可以分片的特性，具有十分良好的可扩展性。 GeaFlow提供融合GQL和SQL样式的查询语言，这是一种图表一体的数据分析语言，继承自标准SQL+ISO/GQL，可以方便进行图表分析。 GeaFlow DSL引擎层还将支持SQL中的Join自动转化为GQL执行，用户可以自由混用SQL和GQL样式查询，同时做图匹配、图算法和表查询。 图片
图4 图4展示了GeaFlow使用Match算子在图上进行多跳关联查询，相比Flink的Join算子带来的实时吞吐提升。41830编辑于 2023-09-12 - 来自专栏流图计算
Tugraph Analytics图计算快速上手之紧密中心度算法
TABLE modern_vertex ( id varchar, type varchar, name varchar, other varchar) WITH ( type='file', geaflow.dsl.file.path modern_edge ( srcId bigint, targetId bigint, type varchar, weight double) WITH ( type='file', geaflow.dsl.file.path ='/tmp/result');CREATE Function closeness_centrality AS 'com.antgroup.geaflow.dsl.udf.ClosenessCentrality 开源不易，如果你觉得还不错，可以给我们star支持一下～---GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！欢迎给我们 Star 哦! GitHubhttps://github.com/TuGraph-family/tugraph-analytics更多精彩内容，关注我们的博客 https://geaflow.github.io/
67920编辑于 2023-09-19 - 来自专栏流图计算
重磅发布！！！蚂蚁图团队开源高性能原生图存储系统CStore
Targets: build-dev Build the geaflow-cstore with dev version. build-release Build the geaflow-cstore with release version. doc Generate the document of geaflow-cstore and open it in html. version Show the version of geaflow-cstore. 目前，CStore系统已全部开源到TuGraph Analytics仓库（geaflow-cstore模块），当前推送的代码涵盖了CStore的核心功能特性，仍有大量的增强功能还在整合中。
75310编辑于 2024-01-10 - 来自专栏流图计算
谁在以太坊区块链上循环交易？TuGraph+Kafka的0元流图解决方案
set geaflow.dsl.window.size = 200; -- 以太坊交易的底图 CREATE GRAPH IF NOT EXISTS ethereum_transaction_network NOT EXISTS table_new_trade ( srcId bigint, targetId bigint, mount double ) WITH ( type='kafka', geaflow.dsl.kafka.servers = '{your.kafka.server.ip}:9092', geaflow.dsl.kafka.topic = 'tbl-trade' ); -- 将新的交易添加到底图 INSERT INTO 以输出检出的循环交易结果 CREATE TABLE IF NOT EXISTS tbl_circular_trade ( circular VARCHAR ) WITH ( type='kafka', geaflow.dsl.kafka.servers = '{your.kafka.server.ip}:9092', geaflow.dsl.kafka.topic = 'tbl-circular-trade' ); -- 使用以太坊交易图进行实时查询
51350编辑于 2023-07-05 - 来自专栏流图计算
TuGraph Analytics图建模研发：为图计算业务提速增效
概述GeaFlow Console平台提供了图数据研发能力，包括了对点、边、图、表、函数、任务的管理功能， 为了让用户更好的管理元数据信息，同时也便于用户对图计算进一步地了解。 模型结构点&边&图&表&函数图片Geaflow将所有研发资源进行了结构化的模型设计，从模型图中，可以看到vertex，edge，table都继承自GeaflowStruct，GeaflowStruct中包含一个 **GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！欢迎给我们 Star 哦! GitHub **https://github.com/TuGraph-family/tugraph-analytics** 更多精彩内容，关注我们的博客 **https://geaflow.github.io
47420编辑于 2023-10-25 - 来自专栏流图计算
分布式图计算如何实现？带你一窥图计算执行计划
这里以蚂蚁集团开源的图计算系统GeaFlow(品牌名为TuGraph-Analytics)为例，感兴趣的同学文末有开源地址。 图片 总结 本文介绍了GeaFlow图计算引擎如何使用GQL图查询语言进行走图查询，并介绍了几类查询语句对应生成的图计算执行计划。
71820编辑于 2023-08-02 - 来自专栏深度学习与python
未来几年，图计算或许是一条很好的赛道
当前 GeaFlow 团队也在积极的和外部交流沟通，希望将流式图计算的能力开放到外部的场景，从而让业界更多更好的使用图计算的能力，发挥图计算的价值。 未来几年，赛道可期 当我们谈到，流式图计算引擎 GeaFlow 的本质以及未来发展时，潘臻轩这样说道：“GeaFlow 从技术上说是图计算和流式计算融合交叉的计算技术，从计算语义和计算模型上，它更贴近于图计算的语义和模型
77320编辑于 2022-06-11 - 来自专栏流图计算
TuGraph Analytics作业监控面板：运行时组件上的高效分析工具
geaflow.log：进入容器后的shell启动脚本日志。点击任意一个日志可以进入日志详情页面。日志的获取进行了后端分页，可以在右下角选择每页的KB大小，并可以跳转到指定页数。
48100编辑于 2024-01-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号