- 综合排序
- 最热优先
- 最新优先
- 来自专栏Albert陈凯
scribe、chukwa、kafka、flume日志系统对比
FaceBook的Scribe Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。 当后端的存储系统crash时，scribe会将数据写到本地磁盘上，当存储系统恢复正常后，scribe将日志重新加载到存储系统中。 ? scribe、chukwa、kafka、flume日志系统对比 架构： scribe的架构比较简单，主要包括三部分，分别为scribe agent， scribe和存储系统。 (1) scribe agent scribe agent实际上是一个thrift client。 scribe提供了各种各样的store，如 file， HDFS等，scribe可将数据加载到这些store中。
2.6K50发布于 2018-04-04 - 来自专栏技巅
分布式日志收集系统：Facebook Scribe
2.分布式日志收集系统：Facebook Scribe主要内容 （1）Scribe简介及系统架构 （2）Scribe技术架构 （3）Scribe部署结构 （4）Scribe主要功能和使用方案 （5）Scribe的具体应用实例 （6）Scribe的扩展 （7）Scribe研究体会 3.Scribe简介 Scribe是facebook开源的日志收集系统，在facebook 当中央存储系统出现故障时，scribe可以暂时把日志写到本地文件中，待中央存储系统恢复性能后，scribe把本地日志续传到中央存储系统上。 ）***** （6）***** 4.其他 10.Scribe的扩展：存在的问题 虽然scribe系统是如此的优秀，但是也存在着一些不足和问题，针对存在的问题我们对scribe进行扩展 本地服务器 12.Scribe的扩展：python客户端 我们开发的python客户端主要实现了如下功能： 1、解决本地scribe服务器的单点故障 我们可以通过配置多个本地scribe
2.2K30发布于 2018-05-25 - 来自专栏算法之美
开源日志系统比较：scribe、chukwa、kafka、flume
FaceBook的Scribe Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。 架构： scribe的架构比较简单，主要包括三部分，分别为scribe agent， scribe和存储系统。 (1) scribe agent scribe agent实际上是一个thrift client。 scribe提供了各种各样的store，如 file， HDFS等，scribe可将数据加载到这些store中。 (3) 存储系统 存储系统实际上就是scribe中的store，当前scribe支持非常多的store，包括file（文件），buffer（双层存储，一个主储存，一个副存储），network（另一个scribe
3.3K120发布于 2018-04-13 - 来自专栏数据饕餮
大数据应用日志采集之Scribe 安装配置指南
大数据应用日志采集之Scribe 安装配置指南 1.概述 Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。 scribe代码很简单，但是安装配置却很复杂，本文记录了作者实际的一次安装的过程，感觉真是不一般的琐碎，另外Scribe开源社区的版本已经是几年前的版本了，最新的维护信息一致没有看到，HDFS和Thrift 2.Scribe 安装 Scribe 依赖于多个环境，有pthyon,boost,thirft,libevent,openssl等。在编译的时候还有一些编译错误需要进行修正，安装的和准备如下。 #make install 4.安装scribe 在https://github.com/facebook/scribe下载zip包。 #unzip scribe-master.zip #cd scribe-master # export BOOST_ROOT=/usr/local/boost #export LD_LIBRARY_PATH
95140发布于 2019-01-14 - 来自专栏技巅
分布式日志收集系统： Facebook Scribe之配置文件
上一篇文章介绍了一些关于scribe的基础知识，也是自己在公司内部分享的一些内容，当时公司很多同事也积极与我沟通，没想到网上也有这么多人关注，下面几篇文章继续分享一些自己研究scribe的一些成果和心得吧 所以我们必须很清楚的这些功能，而scribe最大的特点就是配置文件，它强大的功能全部通过配置文件来配置实现的，今天就简单介绍scribe的配置文件。 scribe配置文件详解 1.全局配置项 （1）port：指示scribe服务器在哪一个端口上监听，默认是0，通过命令行参数选项-P可以指定端口，也能够通过配置文件指定。 5.network存储配置 Network存储向其他scribe服务器发送消息。Scribe保持持久的链接打开以至于它能够发送消息。 （如果scribe备份和缓存消息到本地磁盘，scribe会基于缓存文件大小按块发送消息） （1）remote_host:发送消息的远程主机的名称或IP地址。
1.1K50发布于 2018-05-25 - 来自专栏数据饕餮
大数据应用日志采集之Scribe演示实例完全解析
当中央存储系统出现故障时，scribe可以暂时把日志写到本地文件中，待中央存储系统恢复性能后，scribe把本地日志续传到中央存储系统上。 /scribe_ctrl status #step_06: 查看scribe计数 . /scribe_ctrl counters #step_07: 停止scribe运行 . /scribe_ctrl status 1463 ./scribe_ctrl status 1464 ./scribe_ctrl counters 1463 . /scribe_ctrl stop 1463 #step_06：验证中心scribe运行状态 .
90670发布于 2019-01-14 - 来自专栏技巅
分布式日志收集系统： Facebook Scribe之日志收集方案
写入日志到Scribe的解决方案 1.概述 Scribe日志收集服务器只负责收集主动写入它的日志，它本身不会去主动抓取某一个日志，所以为了把日志写入到scribe服务器，我们必须主动向scribe 由于scribe服务器是基于thrift框架实现的，并且thrift支持多种编程语言的通信，所以对于写入scribe服务器的客户端实现也可以使用多种语言，这就为把写入日志的客户端集成到各种应用系统中提供了很好的支持 把写入日志到scribe服务器的功能集成到应用系统是一种可行的解决方案，但是不是唯一的解决方案，我们还可以现实一个单独的客户端，专门用来抓取应用系统生成的日志文件，然后写入到scribe服务器。 2.scribe日志写入与应用系统集成 （1）与Java应用系统集成 与java系统集成有两种解决方案，一是通过scribe提供的开发API自己开发，另一种是通过与log4j集成（网上有开源的实现 （2）与C#应用系统集成 与C#系统集成是通过把scribe提供的开发API封装到一个dll文件里面，然后C#应用系统导入dll文件，利用提供的API开发写入scribe日志的功能模块。
1.3K40发布于 2018-05-25 - 来自专栏技巅
分布式日志收集系统： Facebook Scribe之结构及源码分析
活动及状态图 image.png Scribe活动图 image.png 4. 服务器全局控制器对象g_Handler：scribeHandler类型； （5） 调用initialize()函数初始化scribe服务器—->设置scribe运行状态信息—->调用 ::startServer()启动scribe服务器。 启动代码的文件是scribe_server.cpp，入口函数是main。 5. 如果你想更深入理解学习scribe的原理并通过源码去分析上一篇博文提到的各种配置选项的用作，那么你可以结合本篇更加详细去分析scribe源代码！源代码可以到google上搜索！
1.3K20发布于 2018-05-25 - 来自专栏数说工作室
你的每一次点击行为，是如何变成数据的？| 聊一聊互联网公司的内部数据采集
在分布式系统中，每一个节点都会部署 scribe 服务（local scribe server），收集此节点的日志信息，并将其发送给scribe中央服务（central scribe server）。 Scribe 的一个重要优点是容错性。节点信息发送给 scribe中央服务之后，如果中央服务系统挂！了！（crash），怎么办？ 此时本地的 scribe服务就会将信息写到本地磁盘，当中央服务可用时重新发送。 scribe中央服务将数据写入到最终的目的地。是不是很机智！ 当然，在一些特点情况下，Scribe 也会丢失数据，比如： 如果客户端scribe服务崩溃， 会造成内存中的少量数据丢失，但磁盘数据不会丢失。 客户端的scribe既不能连接到本地文件系统，也不能连接到scribe中央服务器，这种情况除非神仙来了！
1.9K70发布于 2018-04-08 - 来自专栏Spark学习技巧
吐血整理：常用的大数据采集工具，你不可不知
图4 Chukwa架构 5 Scribe Scribe是Facebook开发的数据（日志）收集系统。其官网已经多年不维护。 Scribe为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。 当中央存储系统的网络或者机器出现故障时，Scribe会将日志转存到本地或者另一个位置；当中央存储系统恢复后，Scribe会将转存的日志重新传输给中央存储系统。 Scribe通常与Hadoop结合使用，用于向HDFS中push（推）日志，而Hadoop通过MapReduce作业进行定期处理。 Scribe架构如图5所示。 图5 Scribe架构 Scribe架构比较简单，主要包括三部分，分别为Scribe agent、Scribe和存储系统。
2.8K10编辑于 2022-01-13 - 来自专栏加州阳光87°F
此处芯安是吾乡 ——Seal ring
从晶圆角度看，seal ring是介于芯片（chip）和划片槽（scribe line）之间的（保护）环。 不同的角度，不同的理解，就会有不同得定义，首先来了解下，Seal ring有什么用吧？ Seal ring外有划封线（Scribe line），Scribe line是用来分裂芯片的，为避免造成对内部电路的破坏，所以Seal ring到内部电路有10um距离要求。 在Scribe line上切割时，可能有应力作用到chip内部，加Seal ring可以阻止切割时产生的裂痕损坏到芯片。相邻的contact，via层的图形必须错开。 （2）.Seal ring（封装条）与Scribe line（划片槽）的区别。 Scribe line，是把芯片从晶圆上切下来的线，是要实际走刀子的地方，而Seal ring是围在芯片周围的一圈从衬底到最上层金属全部都打一圈的保护圈。
2.2K40发布于 2018-12-12 - 来自专栏加州阳光87°F
此处芯安是吾乡 ——Seal ring
从晶圆角度看，seal ring是介于芯片（chip）和划片槽（scribe line）之间的（保护）环。 不同的角度，不同的理解，就会有不同得定义，首先来了解下，Seal ring有什么用吧？ Seal ring外有划封线（Scribe line），Scribe line是用来分裂芯片的，为避免造成对内部电路的破坏，所以Seal ring到内部电路有10um距离要求。 在Scribe line上切割时，可能有应力作用到chip内部，加Seal ring可以阻止切割时产生的裂痕损坏到芯片。相邻的contact，via层的图形必须错开。 （2）.Seal ring（封装条）与Scribe line（划片槽）的区别。 Scribe line，是把芯片从晶圆上切下来的线，是要实际走刀子的地方，而Seal ring是围在芯片周围的一圈从衬底到最上层金属全部都打一圈的保护圈。
2.6K30发布于 2018-09-19 - 来自专栏苹果mac
ExpressScribe PRO for mac(音频播放器软件)
NCH ExpressScribe PRO for mac是一款音频播放器软件，播放大多数格式，包括加密的听写文件，使用Express Scribe的音频播放键盘热键或安装一个支持的转录踏板，缩短您的周转时间 nch express scribe pro软件功能转录软件功能变速播放（恒定音高）支持音频和视频播放播放大多数格式，包括加密的听写文件。 可自动将语音转换为文本适用于Microsoft Word和所有主要的文字处理程序与FastFox文本扩展器配合使用，可通过键盘快捷键输入医疗/法律短语和常用短语自动发送和接收文件您可以在Express Scribe 适用于Word和其他文本编辑器如果您希望将转录键入文字处理器，则Express Scribe将在后台运行，同时使用热键或脚踏板来控制它。
90230编辑于 2023-05-09 - 来自专栏全栈程序员必看
大数据采集架构
为了保证负载均衡，采用Sink线程用于激活被被选择的Sinks群中特定的sink Scribe Scribe是Facebook开发的分布式日志系统，它能够从各种日志源上收集日志，存储到一个中央存储系统上 例如：当后端的存储系统崩溃时，Scribe会将数据写到本地磁盘上，当存储系统恢复正常后，Scribe将日志重新加载到存储系统中。 Scribe由Scribe Agent、Scribe和存储系统三部分组成。 Scribe Agent实际上是一个ThriftClient。 各个数据源需要通过Thrift向Scribe传输数据，每条数据记录包含一个Category和一个Message，可以在Scribe配置中指定Thrift线程数，默认是3。 Scribe Agent：a Thrift Client（客户端） Scribe：共享队列，以目录形式 存储系统：采集信息的存储 Thrift-远程过程调用框架 Thrift入门 在本地运行程序，在远端的服务器上有所感知
1.1K40编辑于 2022-07-05 - 来自专栏媒矿工厂
RTC @scale 2024 | RTC 可观测性
图1 作为标准日志基础设施的一部分，所有有模式的日志首先被记录到Scribe。Scribe是Meta的分布式事件流平台，类似于Apache Kafka。 此外，数据在Scribe到达后到落地Hive之间有相当大的延迟。尽管这一点随着时间的推移有所改善，但通常需要数小时。工程师需要在问题报告后等待数小时才能进行调查和修复。 然后，工具可以从Scribe流式传输日志数据，类似于从Hive流式传输的方式，并写入到它们自己特定的后端数据库。再次，日志类型和这些数据库中的表之间有一对一的映射。 它从Scribe读取数据，并为Call Dive和实时数据分析工具产生聚合输出，供它们使用。 图4 所有输入日志共享一些公共字段，包括通话标识符。 RTC平台架构 图5 Scribe管理器：负责从Scribe读取数据。 通话索引：内存中的键值存储，键是通话标识符，值是各种类型关联日志的列表。
46510编辑于 2024-04-12 - 来自专栏量子位
LaTeX的历史：图灵奖得主1977年开启的计划，引发学术圈重大变革
Scribe：爆发之前奏 于是，1980年诞生了Scribe，是卡耐基梅隆大学 (CMU) Brian Reid的博士论文项目。 ? 在80年代早期，Scribe受到了许多学术作者的追捧。 即便如此，它也不只是个插曲： Scribe有位忠实用户，来自斯坦福的Leslie Lamport (简称“兰波特”) ，当时已是著名的计算机科学家。 就是他，在尝到便利的滋味之后，想要把Scribe的易用性，转移到Tex身上，最终发明了LaTeX。
1.2K20发布于 2019-06-18 - 来自专栏技巅
Thrift之TProcess类体系原理及源码详细解析
选择的实例是Facebook内部用这个框架实现的一个分布式日志收集系统scribe。 第二节 基于框架生成的服务实例分析 本节将对scribe服务器采用的服务实现进行详细分析。 1 接口定义语言文件（IDL） （1）Facebook内部共用服务协议 主要有两个文件，一个是在Thrift中定义，是用于Facebook内部的一些接口服务定义，这个不仅仅用于scribe服务器 scribe.thrift namespace java scribe.thrift namespace perl Scribe.Thrift enum ResultCode { 这个服务的具体实现和上面介绍的FacebookService流程都是一样的，不在详细介绍，只要知道一点就是：客户端在调用Log写日志到scribe服务器的时候就会传递到服务器端来调用同名的函数处理日志。
1.3K20发布于 2018-05-25 - 来自专栏华章科技
果断收藏！六大主流大数据采集平台架构分析
今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程 5、Scribe 代码托管：https://github.com/facebookarchive/scribe Scribe是Facebook开发的数据(日志)收集系统。 Chukwa和Scribe由于项目的不活跃，不推荐使用。 Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。
1.3K40发布于 2018-08-16 - 来自专栏Spark学习技巧
你一定需要 六款大数据采集平台的架构分析
今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程 5、Scribe 代码托管：https://github.com/facebookarchive/scribe Scribe是Facebook开发的数据（日志）收集系统。 Chukwa和Scribe由于项目的不活跃，不推荐使用。 Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。 End.
2.5K30编辑于 2022-03-15 - 来自专栏加米谷大数据
你一定需要了解的六款大数据采集平台
今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程 5、Scribe 代码托管：https://github.com/facebookarchive/scribe Scribe是Facebook开发的数据（日志）收集系统。 Chukwa和Scribe由于项目的不活跃，不推荐使用。 Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。
6.7K50发布于 2018-06-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号