- 综合排序
- 最热优先
- 最新优先
- 来自专栏DataLink数据中台
Dlink 实时计算平台——部署篇
五、Hello World 登录平台 登录账号和密码在配置文件中设置，默认为 admin/admin。 查看主页 从主页查看当前版本号与更新日志。 表单提交时可能需要较长时间的等待，因为那时 dlink 正在努力的计算当前活跃的 JobManager 地址。 后续将带来《Dlink 实时计算平台——功能篇》、《Dlink 实时计算平台——技巧篇》、《Dlink 实时计算平台——原理篇》，敬请期待。
3.4K20编辑于 2021-12-27 - 来自专栏vivo互联网技术
vivo 实时计算平台建设实践
vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。 二、实时计算平台建设实践从我们大数据平台的体系架构上来看，我们通过汇聚层能力收集整个vivo互联网的埋点、服务器日志，通过计算、存储、分析等能力从海量数据中挖掘出业务价值。 实时计算作为平台的核心能力之一，它同时满足了大规模数据计算和高时效计算的需求，我们通过实时计算平台来承载和向业务提供这方面的能力。 vivo实时计算平台是基于Apache Flink计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。 前面有提到，基于实时计算平台，公司的多个中台团队建设了五大中台能力，覆盖了各种各样的实时场景，这里就跟大家简单分享下其中两个典型场景。
1.4K30编辑于 2023-01-04 - 来自专栏智能大石头
100亿小数据实时计算平台
2017年6月，开始数据分析的职业生涯，作为架构师，建立起一套基于.Net/.Net Core的小数据实时处理计算平台，这里记录学习过程中的点点滴滴！ 普通软件工程师容易上手做数据分析，并参与开发配套的业务系统，大数据开发工程师需要会很多（Hadoop、MapReduce、HDFS、Hive、HBase、Spark、Zookeeper、Sqoop） 实时内存计算 ，C#/Java/Go+Redis/MongoDB，轻松做到0.5~5分钟实时处理，大多数大数据开发工程师只熟悉 Hadoop+Hive，擅长T+1离线计算，对实时计算Spark+HBASE熟悉的不多 题外：其实大家平时借助消息队列（Kafaka/RocketMQ）异步处理的统计，本身就属于实时计算数据分析的一种！ 文章目录： 借助Redis做秒杀和限流的思考 大数据分析中Redis怎么做到220万ops 每天4亿行SQLite订单大数据测试（源码） 小数据计算平台配套： 关系型数据库，数据来源以及计算结果存储，推荐
1K20发布于 2018-08-22 - 来自专栏Spark学习技巧
马蜂窝实时计算平台演进之路
MES 是马蜂窝统一实时计算平台，为各条业务线提供稳定、高效的实时数据计算和查询服务。在整体设计方面，MES 借鉴了 Lambda 架构的思想。本篇文章，我们将从四个方面了解 MES： 1. 类比目前的数据平台架构来看, 即离线的那几张保存原始数据的主表。 马蜂窝实时计算平台 MES 为了保证 MES 实时计算平台的性能，我们结合马蜂窝的实际业务场景，主要围绕低延迟，高吞吐、容灾能力和 Exacty Once 的流式语义这四点，来进行架构设计和技术选型。 这个任务会被提交到 PrestoSQL 集群，计算结果最终落地到 HBase 里，重算后 MES 的历史数据就会和离线数据算出来的数据保持一致； 另外一条线是 Spark 全量重算，由数据平台的小伙伴内部使用 图 6：优化结果对比 未来规划 马蜂窝实时计算平台的发展还需要不断探索，未来我们主要会在以下几个方面重点推进： 1. 实时计算任务统一资源管理和任务调度 2.
56630发布于 2019-11-18 - 来自专栏腾讯大数据的专栏
腾讯实时计算平台Oceanus建设实践
技术的广泛应用以及对Flink社区的活跃贡献，腾讯也受邀参加了会议并以主题Developing and Operating Real-Time Applications at Tencent介绍了腾讯大数据在实时计算平台建设上的工作 近年来，实时计算在腾讯得到了越来越广泛的应用。在腾讯内部，实时计算应用主要分为以下四类： ETL：ETL应该是目前实时计算最普遍的应用场景。 数据平台部实时计算团队每天需要处理超过了17万亿条数据，其中每秒接入的数据峰值达到了2.1亿条。 二、Oceanus简介 ? 为了提高用户流计算任务持续集成和持续发布的效率，实时计算团队从2017年开始围绕Flink打造了Oceanus (http://data.qq.com)，一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台 大部分Oceanus的用户可以使用画布方便的构建他们的实时计算应用。Oceanus提供了常见的流计算算子。
2.8K31发布于 2019-05-16 - 来自专栏深度学习与python
作业帮实时计算平台高可用实践
作者 | 刘泽强 作业帮高级数据研发工程师 策划 | Tina 摘 要 随着业务的高速发展和实时计算的迭代，业务对实时计算的需求越来越多，对实时任务的稳定性要求也越来越高。 对实时计算平台而言，底层调度系统及计算引擎的稳定性、高可用性就变的十分重要。本文主要围绕作业帮实时计算平台底层调度系统，从背景现状、目标与挑战、方案设计以及未来规划等几方面来展开。 背景现状 开始之前，先简单了解一下之前实时计算平台后台调度的架构，如图 1 所示： 图 1 实时调度系统采用的是分布式、去中心无主架构，技术上，使用 AKKA 作为基本框架，实现高性能、纯异步的任务管理 目标与挑战 随着越来越多的公司核心业务在使用实时计算平台运行任务，业务对实时计算平台提出了更高的要求： 服务可用性要求 99.95% 支持 AZ 即或者 region 级容灾 在现有的架构下，显然无法满足这样的要求 未来规划 未来我们实时计算调度平台在稳定性方面的一些规划： 计算引擎迁移到云 K8S 上，降低运维成本，同时提升引擎的 SLA。 底层实时调度服务容器化，提升稳定性、快速扩缩容。
52810编辑于 2024-01-11 - 来自专栏SmartSi
案例-马蜂窝实时计算平台演进之路
MES 是马蜂窝统一实时计算平台，为各条业务线提供稳定、高效的实时数据计算和查询服务。在整体设计方面，MES 借鉴了 Lambda 架构的思想。 类比目前的数据平台架构来看, 即离线的那几张保存原始数据的主表。 马蜂窝实时计算平台MES 为了保证 MES 实时计算平台的性能，我们结合马蜂窝的实际业务场景，主要围绕低延迟，高吞吐、容灾能力和 Exacty Once 的流式语义这四点，来进行架构设计和技术选型。 未来规划 马蜂窝实时计算平台的发展还需要不断探索，未来我们主要会在以下几个方面重点推进： 实时计算任务统一资源管理和任务调度 支持复杂的实时 SQL OLAP 计算 实时数据血缘关系及监控预警 复杂实时 2017年加入马蜂窝，现负责马蜂窝实时计算平台和数据中台服务。2008年毕业于西安邮电大学，曾在Talend、神州专车等公司工作，先后从事数据集成中间件，数据仓库，实时计算平台等方向的研发工作。
97830发布于 2019-08-07 - 来自专栏基哥杂记
基于JStorm开发一个实时计算平台
什么是实时流式计算 实时流式计算，也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,那么，到底什么是实时流式计算呢？ 3.CDN 比如监测CDN机器的资源使用情况，当某些地区的机器资源不足时，能触发平台自动扩容，满足业务需求。 业界有那么多的实时计算框架，该如何选型？ 为了满足我们的业务场景要求，我们最终选择基于Storm做二次开发，规划了一个Thor平台，实现了告警的实时计算，对于一些敏感型告警，在30秒内即可快速决策 原先我司的告警系统，是在将采集的数据持久化到数据库后 计算数据怎么存？系统怎么监控等等。为了解决这一系列的问题，在Storm的基础上规划了Thor这样一个实时的计算平台。 Monitor Cluster 集群状态监控，负责进行集群内部的组件状态、topology计算状态的监控报警 Thor UI UI作为实时计算平台的运营界面，主要任务是各个组件的运行状态收集、消息任务配置
1.1K20发布于 2020-07-06 - 来自专栏大数据成神之路
腾讯基于 Flink 的实时流计算平台演进之路
腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。 腾讯选择用 Flink 作为新一代的实时流计算引擎，并对社区版的 Flink 进行了深度的优化，在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台—— Oceanus 。 18 年上半年，我们开始围绕 Flink 进行产品化，打造了一个全流程、一体化的实时流计算平台——Oceanus，来简化业务方构建实时应用的复杂度并降低运维成本，这也基本明确了后续我们主要的运行模式是 18 年下半年，我们的 Oceanus 平台已经有足够的能力来构建常见的流计算应用，我们部门内部的一些实时流计算业务也已经在平台上稳定运行，于是我们开始为腾讯云、腾讯其他事业群以及业务线提供流计算服务。 我们列举其中几个业务的使用案例，微信使用我们的平台来统计朋友圈的实时浏览信息、小游戏种子用户的 UV 计算、实时恶意流量分析判断、看一看的红点信息；支付用来计算商户交易相关的统计；音乐用于实时点唱、热门排行榜等等
3K32发布于 2019-08-26 - 来自专栏DataFunTalk
虎牙实时计算平台服务的SLA之路
导读：随着实时计算的发展，越来越多的业务利用实时计算平台开发实时数据。与离线任务不同，实时任务需要更小的时延和更高的可靠性，如何更好地保障实时数据的质量是每个实时计算平台都需要解决的问题。 发展历程 1.png 虎牙业界领先的实时内容创造与直播互动能力离不开有力的基础支撑，实时计算平台作为一个关键技术，发展历程主要分为四个阶段： 混沌期：在2019年之前，业务各自搭建实时计算引擎，导致技术栈的不统一和资源利用率不高 平台架构概览 2.png 数据从各端采集进入Datahub之后流向数据湖，然后分流到离线数仓和实时数仓，最后在应用层使用。其中实时计算平台横跨了整个流程，应用于每个流程中。 在转型期中，虎牙实时计算平台更加关注用户关心的问题诉求，而减少其他问题对用户造成的干扰。 2. 比如实时分析平台，数据的实时性是由计算平台承担的，用户只需要知道使用哪些数据做分析，不需要关注上下游细节的东西。 Q：什么情况下会动态驱逐？
1.5K61编辑于 2022-04-15 - 来自专栏携程技术
干货 | Meteor实时计算平台架构与实践
本文将介绍携程市场营销基于storm框架的meteor实时计算平台，解决日益增长的市场部业务需求。 二、什么是Meteor 随时市场业务的不断发展，对实时计算的需求也逐渐增大。 Meteor平台的解决方案只需要三个步骤即可完成数据结果的输出，按照业务需求选择合适的计算类型和参数配置，启动计算场景，就可以得出相应的计算结果，并且可以实时调整计算逻辑（判断条件）。 ? Meteor平台通过统一的管理配置模式，实时进行计算节点的动态配置、调度和计算，业务人员可以很方便的进行业务场景的创建、运行、暂停、下线等操作。 2个小时； 满足业务需求快速上线，提升营销投放效率； 平台场景状态、数据流量、节点计算、异常容错监控可控； 平台投放场景运营数据可视化； Meteor平台上线后，对市场营销业务提供实时数据计算和数据查询服务 提高系统稳定性可以达到99.9%； 底层驱动多元化，可适配多种流处理计算框架； 六、结语 基于storm框架的meteor实时计算平台，是携程市场团队自行研发的自动化的实时计算平台。
1.4K20发布于 2019-01-08 - 来自专栏大数据成神之路
腾讯基于Flink的实时流计算平台演进之路
腾讯选择用 Flink 作为新一代的实时流计算引擎，并对社区版的 Flink 进行了深度的优化，在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus。 大家好，我是来自腾讯大数据团队的杨华（vinoyang），很高兴能够参加这次北京的 QCon，有机会跟大家分享一下腾讯实时流计算平台的演进与这个过程中我们的一些实践经验。 ? 18 年上半年，我们开始围绕 Flink 进行产品化，打造了一个全流程、一体化的实时流计算平台——Oceanus，来简化业务方构建实时应用的复杂度并降低运维成本，这也基本明确了后续我们主要的运行模式是 18 年下半年，我们的 Oceanus 平台已经有足够的能力来构建常见的流计算应用，我们部门内部的一些实时流计算业务也已经在平台上稳定运行，于是我们开始为腾讯云、腾讯其他事业群以及业务线提供流计算服务。 我们列举其中几个业务的使用案例，微信使用我们的平台来统计朋友圈的实时浏览信息、小游戏种子用户的 UV 计算、实时恶意流量分析判断、看一看的红点信息；支付用来计算商户交易相关的统计；音乐用于实时点唱、热门排行榜等等
2.7K40发布于 2019-06-03 - 来自专栏JAVA高级架构
携程大数据实时计算平台建设实践
本文作者为携程大数据平台负责人张翼。张翼浙江大学硕士毕业，2015年初加入携程，主导了携程实时数据计算平台的建设，以及携程大数据平台整合和平台技术的演进。 进入互联网行业近10年，从事大数据平台和架构的工作超过6年。 ? ? ? ? ? ，并且他们的主要精力还是放在业务需求的实现上，所以这些实时数据应用的稳定性往往难以保证。 最后就是数据和信息的共享不顺畅，如果度假要使用酒店的实时数据，两者分析处理的系统不同就会很难弄。所以在这样前提下，就需要打造一个统一的实时数据平台。 ? 需要怎样的实时数据平台 这个统一的数据平台需要满足4个需求：首先是稳定性，稳定性是任何平台和系统的生命线；其次是完整的配套设施，包括测试环境，上线、监控和报警；再次是方便信息共享，信息共享有两个层面的含义
2K20发布于 2018-09-29 - 来自专栏深度学习与python
伴鱼实时计算平台 Palink 的设计与实现
这个阶段中台数据开发工程师主要是基于「Spark」实时计算引擎开发作业来满足业务方提出的需求。然而，这类作业并没有统一的平台进行管理，任务的开发形式、提交方式、可用性保障等也完全因人而异。 为此，我们从去年开始着手打造伴鱼公司级的实时计算平台，平台代号「Palink」，由「Palfish」 + 「Flink」组合而来。 之所以选择「Flink」作为平台唯一的实时计算引擎，是因为近些年来其在实时领域的优秀表现和主导地位，同时活跃的社区氛围也提供了非常多不错的实践经验可供借鉴。 目前「Palink」项目已经落地并投入使用，很好地满足了伴鱼业务在实时场景的需求。 核心原则 通过调研阿里云、网易等各大厂商提供的实时计算服务，我们基本确定了「Palink」的整个产品形态。 其他特性 除了上文提到的一些功能特性，平台还支持了： DDL 语句注入 UDF 管理 租户管理 版本管理 作业监控 日志收集 这些点就不在本文详细阐述，但作为一个实时计算平台这些点又是必不可少的。
88910编辑于 2023-04-01 - 来自专栏大数据成神之路
基于Flink打造实时计算平台为企业赋能
Flink作为业内公认的性能最好的实时计算引擎，以席卷之势被各大公司用来进处理实时数据。然而Flink任务开发成本高，运维工作量大，面对瞬息万变得业务需求，工程师往往是应接不暇。 如果能有一套实时计算平台，让工程师或者业务分析人员通过简单的SQL或者拖拽式操作就可以创建Flink任务，无疑可以快速提升业务的迭代能力。 1. 方法论—Lambda架构 如何设计大数据处理平台呢？ 速度处理层（Speed Layer），负责处理实时数据。这部分数据需要实时的计算出结果，支持随时供用户查看，通常对准确性要求不高，主要通过流式计算引擎计算出结果。 通常这些数据最终还是会通过批处理层入库，并针对部分计算结果进行校验。 服务层（Serving Layer），数据进入到平台以后，会进行存储、同步、计算、分析等一系列分析计算过程。 对平台的建设也提出了严峻的挑战，Flink作为新一代的流失计算引擎，功能还在不断完善中，刚开始使用必然会踩很多坑。
1.5K30发布于 2020-12-18 - 来自专栏瓜农老梁
FA11# Fink实时计算平台功能点整理
引言 本文简要梳理下Flink实时计算平台提供的能力和功能点: 实时计算场景与特性 实时计算平台架构 功能点整理 一、实时计算场景与特性 1.常见实时计算场景归纳 实时推荐：千人千面个性化推送 实时监控 ：反欺诈以及触发风控的异常与预警 实时报表：促销活动实时大屏等 实时检索：实时索引的构建和检索等 实时处理：数据实时清洗和汇总的其他场景 2.Flink实时计算框架特点 低延迟：毫秒级延迟 高吞吐：千万每秒吞吐 准确性：Exactly-once 状态一致性 易用性：作业开发使用高阶的Flink SQL API&Table API 二、实时计算平台架构 1.数据流线路图 备注： 数据源：Binlog数据库数据增量订阅 、SDK的埋点数据、Agent的上报数据、以及事件总线类数据 消息队列：数据源的数据被收集到消息队列中，通常选型Kafka Fink实时平台：Flink从消息队列消费数据跑作业任务 业务场景：由Flink 三、功能点整理 资源上传：上传执行作业的jar文件或者gitlab地址平台进行打包编译成jar包 创建作业：配置作业的jar、并发以及一些策略等信息 作业信息：展现作业的运行状态、重启等 事件日志：记录操作的详细日志
89730编辑于 2022-03-29 - 来自专栏深度学习与python
实时特征计算平台架构方法论和实践
实时特征计算 本文主要关注具有非常强时效性的实时特征计算，其查询计算的端到端延迟一般设定在几十毫秒的量级。 技术需求 如果为了达到开发即上线的优化目标，同时要保证实时计算的高性能，可以总结出整套架构需要满足如下的技术需求： 需求一：在线实时特征计算的低延迟、高并发。 抽象架构 Figure-5: 开发即上线的实时特征平台的抽象架构 为了满足在章节 2.3 里提到的三个技术需求，我们构建出了如上 Figure-5 的抽象架构。 Table-2: 实时特征计算平台架构的核心模块和功能 OpenMLDB 的架构设计实践 基于如上分析的 Figure-5 的抽象架构，以及 Table-2 所列举的核心模块功能，我们在此介绍一下 OpenMLDB openmldb.ai/ GitHub: https://github.com/4paradigm/OpenMLDB Docs: https://openmldb.ai/docs/zh/ 总 结 本文总结了构建实时特征计算平台所面临的工程化挑战
1.3K20编辑于 2022-06-11 - 来自专栏大数据技术与应用实战
flink实战-实时计算平台通过api停止流任务
背景 随着flink在流计算领域越来越火，很多公司基于flink搭建了自己的实时计算平台，用户可以在实时平台通过jar或者sql的方式来开发、上线、下线、运维flink任务，避免了构建flink任务的复杂性 平时我们自己开发一个flink任务之后，都是通过脚本的方式提交到集群的，但是我们搭建了一个实时计算之后，就不能通过命令行来管理任务了，我们今天就主要讲一下如何通过api的方式来和yarn集群交互。
3.1K30发布于 2020-09-15 - 来自专栏大数据成神之路
Flink在实时在实时计算平台和实时数仓中的企业级应用小结
各大小公司纷纷开始在 Flink 的应用上进行探索，其中最引人瞩目的两个方向便是：实时计算平台和实时数据仓库。 但是离线计算天然时效性不强，一般都是隔天级别的滞后，业务数据随着实践的推移，本身的价值就会逐渐减少。越来越多的场景需要使用实时计算，在这种背景下实时计算平台的需求应运而生。 因此基于 Flink 强大实时计算能力消费实时数据的需求便应运而生。在实时数据平台中，Flink 会承担实时数据的采集、计算和发送到下游。 技术选型 这一部分作者结合自身在阿里巴巴这样的公司生产环境中的技术选择和实际应用的中一些经验，来讲解实时计算平台和实时数据仓库的各个部分是如何进行技术选型的。 大厂的实时计算平台和实时数仓技术方案 这部分小编结合自身在实际生产环境中的经验，参考了市面上几个大公司在实时计算平台和实时数仓设计中，选出了其中最稳妥也是最常用的技术方案，奉献给大家。
1.9K10发布于 2021-04-21 - 来自专栏大数据技术与应用实战
flink教程-flink 1.11 集成zeppelin实现简易实时计算平台
背景 zeppelin不提供per job模式 实时平台开发周期长 基于zeppelin开发一个简易实时平台 开发zeppelin Interpreter 提交sql任务 提交jar任务 背景 随着 所以很多公司都会开发一个自己的实时流式任务计算平台，可以实现使用sql或者jar的方式通过平台来提交任务到集群，避免了底层一些复杂的操作，使一些只会sql的人也能开发flink任务。 实时平台开发周期长 但是开发一个实时计算平台其实是相对比较复杂的，它需要有前端的写sql的页面，后端的提交逻辑，以及前后端的交互等等。 所以我的想法是既然zeppelin已经提供了我们做一个实时平台的很多的功能，比如写sql的页面、前后端交互、提交任务、获取任务的状态等等，那么我们是不是可以用zeppelin来开发一个简化版的实时计算平台呢 基于zeppelin开发一个简易实时平台 今天我们谈谈怎么通过zeppelin来实现一个简易的实时平台，目的是可以把flink的sql和jar的流式任务以per job的方式提交到yarn集群。
1.3K10发布于 2020-09-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号