首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏NebulaGraph 技术文章

    高性能图计算系统 Plato 在 Nebula Graph 中的实践

    Plato 图计算系统与 Nebula Graph 的集成 3.1 Plato 图计算系统介绍 Plato 是腾讯开源的基于 Gemni 论文实现的工业级图计算系统。 Plato 可运行在通用的 x86 集群,如 Kubernetes 集群、Yarn 集群等。在文件系统层面,Plato 提供了多种接口支持主流的文件系统,如 HDFS、Ceph 等等。 3.2 与 Nebula Graph 的集成 我们基于 Plato 做了二次开发,以接入 Nebula Graph 数据源。 Plato 内部实现了一个单机版的 ID 编码器,即 Plato 集群的每台机器均冗余存储所有 ID 的映射关系。 Plato 部署安装与运行 4.1 集群部署 Plato 采用 MPI 进行进程间通信,在集群上部署 Plato 时,需要将 Plato 安装在相同的目录下,或者使用 NFS。

    1.2K40编辑于 2022-03-02
  • 来自专栏腾讯技术工程官方号的专栏

    腾讯高性能图计算框架Plato及其算法应用

    作者:hunteryu,腾讯 WXG 后台开发工程师 Plato 简介 腾讯高性能图计算框架 Plato 图作为一种表示和分析大数据的有效方法,已成为社交网络、推荐系统、网络安全、文本检索和生物医疗等领域至关重要的数据分析和挖掘工具 图1:Plato架构 Plato 开源地址:https://github.com/tencent/plato Plato 高性能图计算框架主要有以下贡献: Plato 能高效地支撑腾讯超大规模社交网络图数据的各类计算 Plato 算法应用 Plato 目前已支持节点中心性指标、连通图、社团发现、图表示学习等多种图算法,本次将重点介绍基于 Plato 的社团发现算法。 Plato 高性能实现方案 Plato 借鉴并简化了 Cyclops[8]论文中的方法,使用 MPI 的高性能通讯原语来实现。 /Tencent/plato 算法介绍:https://github.com/Tencent/plato/wiki 代码示例:https://github.com/Tencent/plato/tree/

    4.1K10发布于 2020-03-19
  • 来自专栏NewBeeNLP

    百度对话系统PLATO家族

    PLATO是百度Siqi Bao等人在2020年-2021年针对NLP对话领域提出的一系列预训练模型,具体包括PLATOPLATO-2,PLATO-XL,前两篇分别发表在ACL2020和ACL-IJCNLP2021 因此PLATO系列利用了大规模的对话语料,对对话系统进行训练,从PLATOPLATO-XL,用的数据越来越多,模型大小也越来越大。之前开放PLATO的微信体验机器人,也着实让它又火了一遍。 /projects/PLATO-2 PS:我始终没找到为什么这个模型叫PLATO,因为它说话像哲学家? 1.6B 684M PLATO-2 中文 1.6B 1.2B PLATO-XL 英文 11B 811M PLATO-XL 中文 11B 1.2B 一、PLATO 三个动机与对应方案: 对话文本和广义文本的不同 三、PLATO-XL 动机与方案 PLATO-XL相比于PLATO-2,数据更多(811M vs. 684M),模型更大(11B vs. 1.6B)。

    2.5K32发布于 2021-11-12
  • 来自专栏腾讯云开发者社区推荐

    正式迈入分钟级时代,腾讯正式开源高性能图计算框架Plato

    腾讯Plato团队负责人于东海表示:“Plato已经支持腾讯内部包括微信在内的众多核心业务,尤其是为腾讯超大规模社交网络图数据的各类计算提供支撑,解决了现有其他计算框架无法在有限资源和有限时间内完成计算的难点 Plato是腾讯内部图计算TGraph团队整合内部资源自主研发的一款高性能图计算框架,取名Plato是为了致敬伟大的数学家柏拉图,目前腾讯云大数据团队正在封装Plato,即将对所有开发者开放使用。 Plato整体架构图 在计算引擎之上,Plato为算法设计者或具体的业务提供多层次接口:从底层的API,到图算法库,再到为具体业务量身打造的“解决方案”——图工具集。 随着Plato的开源,腾讯在开源领域又添大动作。 Plato开源地址:https://github.com/tencent/plato

    3.8K534发布于 2019-11-14
  • 来自专栏机器之心

    十亿节点大规模图计算降至「分钟」级,腾讯开源图计算框架柏拉图

    机器之心报道 参与:蛋酱 11 月 14 日,腾讯正式宣布开源高性能图计算框架 Plato,据介绍,Plato 可满足十亿级节点的超大规模图计算需求,将算法计算时间从「天」级缩短到「分钟」级,性能全面领先于其它主流分布式图计算框架 Plato 开源地址:https://github.com/tencent/plato 伴随着人工智能领域技术的发展,「图计算」的应用场景也越来越广泛。 最强性能的图计算框架 Plato Plato 是腾讯内部图计算 TGraph 团队整合内部资源自主研发的一款高性能图计算框架,取名 Plato 是为了致敬伟大的数学家柏拉图。 目前腾讯云大数据团队正在封装 Plato,即将对所有开发者开放使用。 Plato 不仅在 benchmark 算法中独树一帜,在真实的业务算法中也同样成效卓著。在腾讯数据量级下,Plato 的计算性能也非常优秀。

    1.7K30发布于 2019-11-15
  • 来自专栏AI研习社

    Uber 开源 Plato:扩展性极强的开发测试会话 AI 平台,可实现多智能体并行训练!

    最重要的是,Plato 可以为每个会话智能体组件合并现有的预训练模型,并且每个组件都可以在线(在交互期间)或离线(从数据)进行训练。 Plato 如何运作? Plato 安装及运行 版本 Plato(v.1.1)不需要实际安装,因为它允许用户修改部分代码或扩展现有用例以获得更大的灵活性。但是,Plato 确实依赖于某些外部库,需要安装这些库。 以下是在通用模块模式下运行单个 Plato 智能体或多个 Plato 智能体的两个示例。 实际上,只要符合 Plato 接口输入/输出的类型,任何模型都可以加载到 Plato 中。 或者用户可以解析数据,并在 Plato 之外训练他们的模型;然后在需要将这些数据用于 Plato 智能体时简单地加载训练模型。

    1.1K30发布于 2019-07-30
  • 来自专栏AI研习社

    腾讯开源图计算框架 Plato:十亿级节点图计算进入分钟级时代

    Plato 图计算框架 Plato 是腾讯内部图计算 TGraph 团队整合内部资源自主研发的一款图计算框架,而 Plato 这一命名正是为了致敬数学家柏拉图。 在计算性能方面,Plato 它能够将算法计算时间从天级缩短到分钟级,不仅让当前的图计算性能提升数十倍,也将图计算带进了分钟级计算时代。 在内存消耗方面,Plato 也远小于主流的图计算框架。 Plato 整体架构图 在计算引擎上,Plato 则为算法设计者或具体的业务提供了多层次接口:从底层的 API,到图算法库,再到为具体业务量身打造的「解决方案」——图工具集。 Plato 在腾讯数据量级下计算性能 ? Plato 主要贡献 图作为一种表示和分析大数据的有效方法,已成为众多领域至关重要的数据分析和挖掘工具。 Plato 开源地址: https://github.com/tencent/plato

    2.1K30发布于 2019-11-18
  • 来自专栏腾讯技术工程官方号的专栏

    腾讯正式开源图计算框架Plato,十亿级节点图计算进入分钟级时代

    腾讯Plato团队负责人于东海表示:“Plato已经支持腾讯内部包括微信在内的众多核心业务,尤其是为腾讯超大规模社交网络图数据的各类计算提供支撑,解决了现有其他计算框架无法在有限资源和有限时间内完成计算的难点 Plato是腾讯内部图计算TGraph团队整合内部资源自主研发的一款高性能图计算框架,取名Plato是为了致敬伟大的数学家柏拉图,目前腾讯云大数据团队正在封装Plato,即将对所有开发者开放使用。 Plato整体架构图 在计算引擎之上,Plato为算法设计者或具体的业务提供多层次接口:从底层的API,到图算法库,再到为具体业务量身打造的“解决方案”——图工具集。 随着Plato的开源,腾讯在开源领域又添大动作。 Plato开源地址:https://github.com/tencent/plato ?

    78040发布于 2019-11-18
  • 来自专栏腾讯开源的专栏

    腾讯正式开源图计算框架Plato,十亿级节点图计算进入分钟级时代

    腾讯Plato团队负责人于东海表示:“Plato已经支持腾讯内部包括微信在内的众多核心业务,尤其是为腾讯超大规模社交网络图数据的各类计算提供支撑,解决了现有其他计算框架无法在有限资源和有限时间内完成计算的难点 Plato是腾讯内部图计算TGraph团队整合内部资源自主研发的一款高性能图计算框架,取名Plato是为了致敬伟大的数学家柏拉图,目前腾讯云大数据团队正在封装Plato,即将对所有开发者开放使用。 Plato整体架构图 在计算引擎之上,Plato为算法设计者或具体的业务提供多层次接口:从底层的API,到图算法库,再到为具体业务量身打造的“解决方案”——图工具集。 随着Plato的开源,腾讯在开源领域又添大动作。 Plato 正式开源 Github 开源地址: https://github.com/Tencent/plato (点击文末阅读原文直接访问) 请给 Plato 一个 Star !

    63232发布于 2019-11-18
  • 来自专栏PaddlePaddle

    如何在双十一给自己送个“陪聊女友”——基于飞桨&Plato搭建多轮对话模型

    今天,我们就尝试用百度开源模型Plato训练一个对话模型。 百度Plato-2对话模型 Plato是百度推出的一个多轮对话模型。 最新推出的Plato-2在中英文效果上,已全面超越 Google Meena、Facebook Blender、微软小冰等先进模型。 ? 图一:Plato-2模型框架 模型的整体框架如图一所示。 ) 用3.2中得到的模型,继续训练Plato模型。 和plato2_en_large。 当你调用了一次官方的plato2_en_base模型后(为什么我写plato2_en_base呢?因为plato2_en_large也跑不动啊!

    1.4K30发布于 2020-11-16
  • 来自专栏相约机器人

    PLATO-2是由百度研究开发的开放域聊天机器人模型,可以用中文和英文谈论任何话题。

    PLATO-2使用潜在变量来生成不同的响应,并通过课程学习引入了有效的训练方法。实验结果表明,在中文和英文评估中,相对于其他SOTA模型,PLATO-2有了实质性的改进。 受其先前版本PLATO的启发,PLATO-2使用潜在变量生成各种响应,并通过课程学习引入了有效的训练方法。实验表明,在中文和英文评估中,PLATO-2优于其他最新模型,并且有了实质性的改进。 研究人员这次将PLATO扩大到PLATO-2。PLATO包含12个带110个参数的变压器块,而标准PLATO-2模型则具有32个带16亿参数的变压器块和32个关注头。 与微软的中文数字助手小冰相比,PLATO-2在中文多回合聊天中也显示出显着优势。 如下图所示,PLATO-2在自我聊天评估中的对话增加了极大的丰富性,并扩大了话题范围,使其包括其他相关问题。 相信使用PLATO-2,将与自然的人机交互迈出一步。英文版PLATO-2的代码和模型即将在GitHub上提供。还计划发布中文模型的API。

    1.9K21发布于 2020-07-21
  • 来自专栏量子位

    腾讯把微信正在用的图计算框架开源了,十亿级节点图计算时间从天级缩短到分钟级

    Plato团队负责人于东海说,Plato已经用在了腾讯内部包括微信在内的众多核心业务中,尤其是为腾讯超大规模社交网络图数据的各类计算提供支撑。 腾讯自主研发的图计算框架 Plato来自于腾讯内部图计算TGraph团队,是他们整合内部资源自主研发的一款高性能图计算框架。 之所以取名Plato,是为了致敬伟大的数学家柏拉图。 目前,腾讯云大数据团队也正在封装Plato,即将对所有开发者开放使用。 腾讯介绍称,目前Plato主要提供两大核心能力:腾讯数据量级下的离线图计算,腾讯数据量级下的图表示学习。 △Plato整体架构图 在计算引擎之上,Plato还为算法设计者或具体的业务提供多层次接口:从底层的API,到图算法库,再到为具体业务量身打造的“解决方案”——图工具集。 Plato开源地址: https://github.com/tencent/plato

    60820发布于 2019-11-15
  • 来自专栏脑机接口

    Nature子刊 | 像婴儿一样学习,DeepMind新模型28小时学会物理世界规则

    PLATO 接收来自视频的原始图像和突出显示场景中每个对象目标的图像版本。PLATO 旨在开发对象物理特性的内部表征,例如它们的位置和速度。 PLATO 模型架构 Deepmind 旨在建立一个能够学习直观物理学的模型,并剖析模型实现这种能力的原因。PLATO 模型中实例化了 AI 领域一些先进的系统。 首先是目标个性化过程。 在 PLATO 中,每个分段的视频帧通过感知模块分解为一组目标代码(图 3a-c),从而实现从视觉输入到个体目标的映射。PLATO 没有学习分割场景,但给定一个分割目标,其学习一个压缩表示。 PLATO 学习目标内存和目标感知历史之间的交互作用(图 3d),以生成针对下一个目标的预测视频帧并更新基于目标的内存。 图 3:PLATO 包括两个组件:感知模块(左)和动态预测(右)。 如图 7 所示,PLATO 对所有三个探测类别都显示出清晰的 VoE 效果。 图 7:PLATO 展示了在不可见目标和动态上的鲁棒效果,而无需任何重新训练。 更多内容,请查看原论文。

    35150编辑于 2022-09-22
  • 来自专栏数据派THU

    Nature子刊 | 像婴儿一样学习,DeepMind新模型28小时学会物理世界规则

    PLATO 接收来自视频的原始图像和突出显示场景中每个对象目标的图像版本。PLATO 旨在开发对象物理特性的内部表征,例如它们的位置和速度。 PLATO 模型架构 Deepmind 旨在建立一个能够学习直观物理学的模型,并剖析模型实现这种能力的原因。PLATO 模型中实例化了 AI 领域一些先进的系统。 首先是目标个性化过程。 在 PLATO 中,每个分段的视频帧通过感知模块分解为一组目标代码(图 3a-c),从而实现从视觉输入到个体目标的映射。PLATO 没有学习分割场景,但给定一个分割目标,其学习一个压缩表示。 PLATO 学习目标内存和目标感知历史之间的交互作用(图 3d),以生成针对下一个目标的预测视频帧并更新基于目标的内存。 图 3:PLATO 包括两个组件:感知模块(左)和动态预测(右)。 如图 7 所示,PLATO 对所有三个探测类别都显示出清晰的 VoE 效果。 图 7:PLATO 展示了在不可见目标和动态上的鲁棒效果,而无需任何重新训练。 更多内容,请查看原论文。

    54040编辑于 2022-08-29
  • 来自专栏机器之心

    Nature子刊 | 像婴儿一样学习,DeepMind新模型28小时学会物理世界规则

    PLATO 接收来自视频的原始图像和突出显示场景中每个对象目标的图像版本。PLATO 旨在开发对象物理特性的内部表征,例如它们的位置和速度。 在 PLATO 中,每个分段的视频帧通过感知模块分解为一组目标代码(图 3a-c),从而实现从视觉输入到个体目标的映射。PLATO 没有学习分割场景,但给定一个分割目标,其学习一个压缩表示。 在 PLATO 中,目标代码在目标缓冲区中的帧上累积和跟踪(图 3d)。 图 3:PLATO 包括两个组件:感知模块(左)和动态预测(右) 实验结果 在测试时,当使用五种不同的随机种子进行训练时,PLATO 在所有五个探测类别中都显示出强大的 VoE 效果。 如图 7 所示,PLATO 对所有三个探测类别都显示出清晰的 VoE 效果。 图 7:PLATO 展示了在不可见目标和动态上的鲁棒效果,而无需任何重新训练。 更多内容,请查看原论文。

    41520编辑于 2022-07-12
  • 来自专栏NebulaGraph 技术文章

    主流开源分布式图计算框架 Benchmark

    [image.png] 2.2.3 Plato 系统版本:0.1.1 Plato 在发起算法执行前,会通过 Hydra 为每个实例启动 1 个进程。 Plato:切图将顶点集合按照块式划分,并使每个顶点和它的所有出边/入边在同 1 个分片上,该原则保证了 Plato 在两种通信模式(Pull/Push)下的高效率执行。 综上,我们最终选择 Plato 作为图计算平台的底层引擎。 \_info, FLAGS\_input, plato::edge\_format\_t::CSV, plato::dummy\_decoder<plato::empty\_t>, "plato/graph/graph.hpp"#include "plato/engine/dualmode.hpp"namespace plato { namespace algo {struct

    2.2K20编辑于 2022-05-09
  • 来自专栏NewBeeNLP

    一文速览 | 对话生成预训练模型

    作者 | 惠惠惠惠惠惠然 整理 | NewBeeNLP 大规模预训练言模型在生成式对话领域近年来有非常多的工作,如百度PLATO系列(PLATO[1]/PLATO-2[2]/PLATO-XL[3]), 所以后来就产生了以PLATO为代表,集NLU和NLG为一体的unified-transformer结构。 「EN」 Reddit comments - DialoGPT, PLATO,Blender Social Media Conversation - Meena Twitter - PLATO 「ZH」 「Persona-Chat」 - PLATO 提供了手动注释的对话,也提供了相应的人物角色配置(背景知识),其中两个参与者自然地聊天,并试图了解对方。 本文参考资料 [1] PLATO: https://aclanthology.org/2020.acl-main.9/ [2] PLATO-2: https://arxiv.org/abs/2006.16779

    1.7K33发布于 2021-11-19
  • 来自专栏NebulaGraph 技术文章

    图计算 on nLive:Nebula 的图计算实践

    图计算之 nebula-plato [图计算 on nLive:Nebula 的图计算实践] nebula-plato 的分享主要由图计算系统概述、Gemini 图计算系统介绍、Plato 图计算系统介绍以及 Nebula 如何同 Plato 集成构成。 接着来简单介绍下 Plato。 图计算系统 Plato 介绍 [图计算 on nLive:Nebula 的图计算实践] Plato 是腾讯开源的图计算框架,这里着重讲下 Plato 和 Gemini 的不同点。 这是 Plato 在分区上同 Gemini 的不同,当然 Plato 还支持 Hash 的分区方式。

    2.3K40编辑于 2022-02-22
  • 来自专栏机器之心

    当被大模型输入技术内功,数字人「文画两开花」,还在手机里随时陪你聊天

    作为百度研发的具有大规模参数的中英文对话预训练生成模型,文心 PLATO 历经多个版本。 2019 年推出了通用领域的对话生成预训练模型 PLATO,在 NLP 领域国际顶会 ACL 2020 上正式展示;到 2020 年升级为 PLATO-2,涵盖中英文版本,实现了开放域话题深度畅聊。 现在升级到了百亿参数的文心 PLATO- XL 版本,在开放域对话效果上得到了持续的提升。 PLATO 只有 8.3M 的训练样本;PLATO-2 的英文和中文训练集样本分别为 684M 和 1.2B,模型规模最高达到了 1.6B;到了 PLATO-XL,英文和中文训练集样本分别 811M 和 在大规模预训练样本和预训练技术创新的基础上,文心 PLATO 为度晓晓带来了多轮流畅的开放域对话能力。 文心 PLATO 的模型架构。

    89040编辑于 2022-06-24
  • 来自专栏坚毅的PHP

    雅美尓(yaml)实战

    /"                 CONFSVC_URL:  "plato.svc.1360.com"                 XHPROF:       "OFF"           - R.vars  &sdk_deploy                 pkg     : "pkg"                 name    : "plato_sdk"                  /sdk', 'pkg': 'pkg', 'name': 'plato_sdk'}, '__env': {'debug': {'DEBUG': 'ON', 'PHP_ERROR': 'E_ALL & ~ ': 6, 'GIT_PATH': '/usr/local/bin/git', 'CONFSVC_URL': 'plato.svc.1360.com', 'PHP_ERROR': 'E_ERROR',  /sdk', 'pkg': 'pkg', 'name': 'plato_sdk'}]} /home/q/php/plato_sdk/ 5分钟进阶 YAML(IPA: /ˈjæməl/,尾音类似camel

    1.3K80发布于 2018-03-20
领券