首页
学习
活动
专区
圈层
工具
发布

【推荐系统】推荐业务架构介绍(一)

11.1 黑马头条推荐业务架构介绍 1.1.1业务 在头条APP海量用户与海量文章之上,使用lambda大数据实时和离线计算整体架构,利用黑马头条用户在APP上的点击行为、浏览行为、收藏行为等建立用户与文章之间的画像关系...,通过机器学习推荐算法进行智能推荐 1.1.2 架构与业务流 1、用户的行为收集,业务数据收集 2、批量计算(离线计算):用户文章画像 3、用户的召回结果、排序精选过程 4、grpc的实时推荐业务流的搭建...HIVE 2.3.1 为什么要收集用户点击行为日志 便于了解分析用户的行为、喜好变化 为用户建立画像提供依据 2.3.2 用户日志如何收集 2.3.2.1 埋点开发测试流程 埋点参数: 就是在应用中特定的流程收集一些信息...,用来跟踪应用使用的状况,后续用来进一步优化产品或是提供运营的数据支撑 1、PM(项目经理)、算法推荐工程师一起指定埋点需求文档 2、后端、客户端 APP集成 3、推荐人员基于文档埋点测试与梳理 2.3.2.2...黑马头条文章推荐埋点需求整理 埋点事件号: 停留时间 read 点击事件 click 曝光事件(相当于刷新一次请求推荐新文章) exposure 收藏事件 collect 分享事件

1.7K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Mac应用推荐

    Mac应用推荐 目录 应用下载地址 Mac应用推荐 前言 效率工具 壁纸工具 媒体工具 编辑工具 结束语 应用下载地址 精品MAC应用分享 http://xclient.info Mac...应用推荐 前言 这些都是星辉亲自体验过并保留下的应用, 星辉确实是觉得好用才向大家推荐的, 希望能够帮助大家节约一部分找应用的时间并提升一定的效率 效率工具 GhostNote 为每个文件、程序添加备注和便签...随着Mac使用时间的增长,那原本简洁的菜单栏也自然而然会慢慢变长,加上某些应用的菜单栏也有一定的长度,这时候用Bartender来对杂乱的菜单栏进行管理是再好不过的了。...Pap.er 是一款专门为 macOS 设计的精美壁纸应用,每天更新全球最新高清壁纸;适合喜欢寻找壁纸来改变心情的你。...http://xclient.info/s/ia-writer.html 结束语 希望大家也能够在评论区中推荐自己觉得好用的mac应用, 让这篇文章不断的更新, 让更多的人用上更好的应用

    2.3K31

    推荐系统架构治理

    推荐系统业务和技术在传统架构支撑下自然堆砌,变得越来越臃肿,开发维护困难,推荐系统在应用架构上正面临新的挑战。...本文就第四范式在智能推荐系统架构方面的探索实践,聊一聊在应用架构治理方面提升推荐服务开发维护效率,增强系统灵活性和扩展性的新探索。...主要内容包括: 推荐系统业务现状、趋势及挑战 "治理"的指导思想 Flowengine架构 应用Flowengine后推荐的架构 实例演示 01 推荐系统业务现状,趋势及挑战 1....领域架构缺失 现有的框架都在解决局部问题,需要抽象出一层专门解决推荐场景应用开发领域自身的问题。...接下来我们介绍一下应用Flowengine之后的架构是什么样子的。 04 应用Flowengine后推荐的架构 1. 业务分解与技术映射 ?

    1.5K22

    达观数据个性化推荐系统应用场景及架构实现

    本次分享结合达观数据个性化推荐引擎在各个行业的从业经验,围绕以下内容展开: 个性化推荐应用场景和价值 用户画像和个性化推荐算法 推荐系统优化方法 “达观杯”数据竞赛 ◆ ◆ ◆ 个性化推荐应用场景和价值...这些数据帮助应用方更好了解用户行为路径,明确用户流失情况和原因,为应用方的产品功能优化决策提供可靠参考依据。 下图是一个小说类客户的用户画像生成流程。 ?...有了用户画像之后,接下来就交给个性化推荐算法了,这里主要聊下基于内容的推荐和血统过滤。 基于内容的推荐。 这个算法适合于待推荐物品带有丰富语义信息的场景,如标题、标签、类别、作者等信息。...这里是达观数据推荐系统的架构图,从基础层的数据传输、存储和运算,到模型层的用户画像、物品画像等的挖掘生成,然后到多种推荐算法的计算得到部分初选的推荐候选集,最后交由融合层的机器学习模型进行重排序,生成最终的推荐结果返回给用户...换句话说,LevelDB很适合应用在查询较少,而写很多的场景。 个性化推荐引擎需要尽可能快的响应用户的每一次操作,以适应用户短期兴趣的变化,进而提高推荐效果的精准性。

    2.1K40

    资深架构师:推荐高薪架构学习路线前言:推荐架构师学习路线总纲

    从事于Java后端开发,对分布式架构、spring微服务、MySQL、框架、Netty、JVM、性能优化、等技术都有较深的研究30K的薪资,有人说这只能是大企业或者互联网企业工程师才能拿到。...这种级别是他们主要码农层级,加班多,能解决大部分问题,但对系统的整体架构能力和深入分析瓶颈的能力还需要培养。...推荐架构师学习路线总纲 第一部分:源码分析 详细介绍源码中使用到的经典设计思想,看看大牛是如何写代码的,提升技术审美,提升核心竞争力。 ?...第四部分:微服务 围绕微服务的通用模式,讲解spring Cloud的常见用法及原理,让微服务的开发更加方便 快捷,让微服务应用更加稳定 可用。 ?...如果对Java分布式、工程化、高并发、微服务,JVM等技术感兴趣的可以加我的架构群:68-5167-672,里面有阿里大牛,大家一起交流分享经验。

    78520

    业内推荐系统架构介绍

    不管是电商网站,还是新闻资讯类网站,推荐系统都扮演着十分重要的角色。一个优秀的推荐系统能够推荐出让人满意的物品,但这不仅是推荐算法的功劳,整个推荐架构所扮演的角色也举足轻重。 ?...一个推荐算法从出现到在业界得到广泛应用是一个长期的过程,因为在实际的生产系统中,首先需要保证的是稳定、实时地向用户提供推荐服务,在这个前提下才能追求推荐系统的效果。...架构介绍 图14-1所示是业界推荐系统通用架构图,主要包括:底层基础数据、数据加工存储、召回内容、计算排序、过滤和展示、业务应用。...第4章中介绍了一些常用的数据挖掘算法和应用场景,在进行物品召回时可以基于一些常用的机器学习算法构建用户偏好模型、用户兴趣模型、物品相似模型、物品互补模型等。...效果评估 无论是推荐架构最开始的召回内容、计算排序,还是最后的过滤和展示,每次新上一个方案之后都要进行效果统计,生产系统中最常用的效果评估方法就是ABTest,更多关于ABTest的使用介绍可以参考第10

    1.4K20

    Windows默认应用推荐

    但是电脑买好了大家可能又会发愁,新电脑买好了之后我应该装什么应用呢?市场上应用太多,对于有选择困难症的人来说,又实在是难以选择一款自己满意的电脑应用,可能有时就随便安装了一些推广软件。...因而,这篇推送将介绍几款比较优秀的应用供大家选择。...下载地址:推荐去官网下载,官网地址如下:http://get.daum.net/PotPlayer64/Version/Latest/PotPlayerSetup64.exe 如果官网下不了,去百度下载...下载地址:http://player.qq.com/ 上面的两款视频播放器在低画质时区别不大,但是播放高清画质推荐前者。...二、压缩软件: 一般大家熟悉的压缩应用有WinRAR、2345好压,但是这两者中前者有广告,后者更可怕,有捆绑软件。但是,这个世界上还是有十分良心的开发者。

    3.1K10

    「企业架构」应用架构概述

    在信息系统中,应用架构或应用架构是构成企业架构(EA)支柱的几个架构域之一 应用架构描述了业务中使用的应用程序的行为,重点是它们如何相互之间以及如何与用户交互。...应用架构试图确保组织创建复合架构所使用的应用程序套件是可伸缩的、可靠的、可用的和可管理的。 应用架构定义了多个应用程序如何准备一起工作。...应用架构师 应用架构师是计算机编程团队中的一名领导或技术经理,专门负责构建应用程序和使用的技术。...任务 应用架构师是组织中应用程序特定的一切的大师。...架构世界的标准在TOGAF中定义,开放组架构框架将EA的四个组件描述为BDAT(业务架构、数据架构、应用架构和技术架构, 根据组织的复杂程度,还需要考虑其他标准: EA的Zachman框架 联邦企业架构

    2.9K20

    「应用架构」应用架构行为准则

    应用架构行为准则 应用程序架构是企业解决方案架构(ESA)的一个子集(图1)。应用程序架构既是一个过程(架构和设计)又是一个东西(可交付成果——架构的内容)。...应用程序架构帮助组织规划其在应用程序解决方案和其他系统中的投资。正在评估、设计和交付的应用程序解决方案必须能够与已建立的解决方案共存。...图1 应用程序架构存在于多个详细级别: 在概念层次上,企业架构(EA)策略和计划确保应用程序组合与其他形式的解决方案架构(业务、技术和信息)协同有效地发展。...应用程序架构的原则适用于所有类型的应用程序方法和解决方案。...在这个概念级别上,最能实现这些策略和计划以及应用程序架构规程的角色是企业解决方案架构师。 项目级的解决方案和应用程序架构师也可能被要求担任这个角色(或者至少就AA规划问题咨询)。

    1.2K30

    大数据推荐系统实时架构和离线架构

    1、概述 推荐系统是大数据中最常见和最容易理解的应用之一,比如说淘宝的猜你喜欢和京东等网站的用户提供个性化的内容。...但是不仅仅只有电商会用推荐引擎为用户提供额外的商品,推荐系统也可以被用在其他行业,以及具有不同的应用中使用,如网易云音乐的每日歌曲推荐、活动、产品到约会对象。...2、大数据推荐系统架构 一般中型的网站(10W的PV以上),每天会产生1G以上Web日志文件。大型或超大型的网站,可能每小时就会产生10G的数据量。 具体来说,比如某电子商务网站,在线团购业务。...下面是推荐系统离线模式和实时模式的推荐架构。两种架构经常是相互辅助使用。 ?...agent里面包含3个核心的组件:source—->channel—–>sink,类似生产者、仓库、消费者的架构。

    2.3K40

    腾讯推荐引擎组员工:谈谈推荐系统架构

    随着深度学习在推荐中的应用,排序模型变得庞大,有必要独立为一个服务,而规则调整的处理一般较简单,如同一来源的内容只保留一份,同一分类的内容只保留一份等等,资源消耗也比较小;另一方面,这两个都需要“正排信息...由此可见,这个“微服务”架构在享受的各种好处之后,还能巧妙地避开网络开销陷阱。这是降低系统延时、提升推荐系统时效性的关键。...更进一步,利用elk完全可以对整个推荐流程进行日志分析,如分析推荐理由,过滤原因,统计推荐效果等。当然对于体量大的业务日志量会非常惊人,这里只要抽样部分日志即可。...通常的场景都需要累积一定的数据量,所以一种做法是应用方自己消费并关联一定时间窗口内的展示和点击。...强大的A/B实验工具是做好推荐的关键。A/B实验工具几乎都是按google的分层实验论文设计的。要做好推荐,这方面还是值得研究研究的。

    3.6K30

    「应用架构」应用程序架构的当前趋势

    本文有些不是最最新的,但是方法和思路也有借鉴意义,稍后会介绍Gantner的最新应用架构趋势。...架构师应该考虑适应这些新趋势 使用面向服务架构(service-oriented architecture,SOA),包含微服务(MSA),构建应用程序,并集成内部商用现货(COTS)和遗留应用程序,以及业务合作伙伴应用程序和云服务...接受应用程序范例和模型 术语“应用程序架构”是指应用程序的结构和组织,包括其组件以及它们之间的交互/相互依赖模型。应用程序架构师应用架构范例,并使用常见的模式和模型来设计应用程序并定义其架构。...: 范式 模型 结构和组织 范例: 架构范例(有时称为架构样式)是一个总体概念框架,它影响您设计应用程序的方式。...这些架构特性影响应用程序的性能、可伸缩性、健壮性、灵活性、可维护性和总体拥有成本。

    98720

    Angel推荐算法在游戏推荐中的应用

    Angel的深度学习平台已应用在腾讯的很多个场景中。本次分享为大家介绍Angel推荐算法在游戏推荐中的应用。...主要内容包括:游戏平台上的游戏推荐、Tesla平台上的推荐算法、经典算法的线性特点、DeepFM算法的非线性特点、DeepFM应用过程。...01 游戏平台上的游戏推荐 这张图看到的是Steam平台上的一个游戏推荐的应用。Steam平台主要是使用标签的推荐方法,它的标签主要是基于用户选择去收集的信息。...如果我们想在经典算法的基础上对一些点击比较少的物品进行推荐,也就是对这些长尾的物品进行推荐,如何去实现呢? 此时可以先做一个聚类,再应用一个协同过滤的算法。...特定场景下的target 数据产生的模型只能应用到特定场景下的点击率评估:你可能会需要使用到3个采集位置。

    2.3K20

    大型网站架构推荐书籍

    以下20本大部分本人都看过,因此推荐给大家。...以上是分享的八本关于大型网站架构的书籍。 二、分布式系统系列 第一本:《从Paxos到Zookeeper:分布式一致性原理与实践》,这一本是Leader-us老师推荐的。...内容有一致性协议,2PC,3PC,Paxos算法,Paxos的工程实践,Zookeeper的安装使用, ZooKeeper的典型应用场景等。本书也出自阿里系。...第二本:前几天给大家推荐过《面向对象葵花宝典》,对理解面向对象思想有一些帮助。对面向对象理解做了较到位的描述。 第三本:《.NET应用架构设计:原则、模式与实践》,不过这本是NET写的。...第四本:《Microsoft .NET企业级应用架构设计》,与《NET应用架构设计:原则、模式与实践》想对应的是本书也是从业务层,服务层,等进行架构模式的架构。讲解的方式有点不同。

    3.3K81

    魅族推荐平台架构

    推荐在魅族中的应用 ? 推荐效果 与人工编辑相比,推荐的优势非常明显;而与行业内的一线公司相比,我们有超越他们的地方,也有还需要努力的部分。...魅族推荐平台架构演进 推荐平台需要做的事 平台的核心需求: 支撑5个以上的大产品线的不同场景的推荐业务需求,保证业务稳定运行,可用性达到99.9%,推荐场景当次请求响应在100毫秒以内,一天需要支撑亿级别的...推荐平台第二代架构——优势 用户推荐数据实时根据用户请求进行计算,减少离线计算量及减少数据存储空间; 原始模型的输出到线上比起结果数据输出更轻便,对线上性能影响更小,更方便于算法在线调优; 模块分离,业务各性化处理与模型计算分离...魅族推荐平台现状 三代架构的核心需求 集群资源动态管理,解决模型存储及计算资源利用率问题; 用户行为数据能够实时的进行计算,并最终反馈到模型,提高推荐结果的准确性; 优法算法模型训练过程,将大部分工作能通过可视化的方式完成...推荐平台架构分层 推荐系统被分为三层。 Offline运算层:该层主要是离线对海量的数据进行建模加工,生产有价值的数据,如Item相似库、user相关库、CF离线推荐结果等。

    2.3K40

    服务读写分离架构,绝不推荐

    中,对背景做了交代,互联网架构设计上,数据库可以读写分离,服务能否读写分离呢?...下面是两种常见的“服务读写分离”架构: 一、单纯服务读写分离 如上图,服务化之后: 业务方通过RPC分别调用读服务和写服务 服务层分为读服务与写服务 底层是高可用的数据库集群 二、服务和数据库同时读写分离...这种架构设计好还是不好,网友进行了激烈的讨论,感兴趣的同学可以看下《服务读写分离(读服务,写服务),是否可行?》的评论,这里,分享下个人的观点。 三、先说结论 楼主旗帜鲜明的反对服务区分读写分离。...如上图,读服务的下游增加一个缓存,当有读请求访问时: a)先访问缓存,如果命中,直接返回 b)如果缓存不命中,访问数据库,然后将数据放入缓存中,以便下一次能够命中 额,然后,这个架构中,这个方案是不可行的...以上仅为个人架构经验,希望逻辑是清晰的,供大伙参考,欢迎共同探讨(估计反对的声音会很多)。 末了,不少朋友提到了CQRS,未来撰文谈谈个人对CQRS的使用场景的理解。

    3K110

    推荐工程系统架构演进

    到家推荐系统随着业务的增长和算法能力的提升,目前经历了三个架构版本的演进: V.1.0采用了一种简单的策略+工厂的设计思路,在推荐项目启动之初,满足了业务的快速迭代上线; V.2.0按照业务场景做了垂直拆分...,按照推荐流程的固有阶段对系统进行水平分成,使系统更贴切业务,框架更为合理清晰 V.3.0按照到家业务对每个推荐阶段抽象整合,将推荐系统平台化,提高系统的扩散性、伸缩性、稳定性 2、到家推荐工程架构...3、到家推荐工程架构- V.2.0 推荐接入的业务场景与日俱增,系统维护渐渐显露了框架1.0中的几大风险,首先做的第一个拆分方式,就是按业务做了垂直拆分逻辑,将应用1分为N,存储1分为N,做业务隔离。...具体系统拆分后到架构设计,如图: Pipeline流程调度设计,如图: 2.0版本的迭代,很好的解决了推荐在开发效率、系统稳定及系统性能瓶颈的问题。...4、到家推荐工程架构- V.3.0 在这个版本的研发中,主要演进方向是pipeline流程动态配置化,将推荐A、B、C业务场景中共性的部分独立,并能独立设置相关属性,做到业务之间代码共享且属性设置隔离

    1.2K20
    领券