知乎目前是典型的混合云架构,数据和服务都分布在不同的机房: 离线机房:专为满足大数据相关业务方需求而设计的离线计算服务中心。其主要职能是部署离线调度、离线存储以及调度平台等服务。 知乎主站作为一个知识社区,其在线机房是为了保障用户对知识和信息的交流与分享能够得到优质、连续的支持。 GPU 机房:此机房专门用于部署机器学习平台,主要服务于算法用户。 相比于数据都存在在单一机房,在混合云的架构下,算法平台在调度训练任务时,还需要额外考虑访问存储时,专线带来的网络延迟以及网络吞吐的限制。 UnionStore 也做了一些加速手段,但是也只能加速到 200-300MB/sec 的速度,远远不能满足大模型的 checkpoint 读取需求; 对象存储能力有上限,在模型分发时,往往单文件会有上百,甚至上千并发同时读取 Alluxio 企业版自上线以来,一共完成了 300+ 训练任务,包括知乎最重要的千卡大模型训练任务,训练期间没有因为 Fuse 的稳定性导致训练任务重启,相比于社区版,企业版极大减少了无效训练的出现。
最近,Humanitec 发布了第一份《平台工程现状报告》——以下是该报告的关键内容以及平台工程的重要趋势。 平台工程是软件工程中最大的趋势之一。 PlatformCon 2022 ——有史以来的第一个平台工程大会——吸引了超过 6000 名参会者,而当地的聚会小组也有数千名会员,很显然,这一趋势将持续下去。 平台工程师提供一个通常称为“内部开发平台”的集成化产品,涵盖应用程序整个生命周期的操作需求。 内部开发平台由专门的平台团队构建。团队拓扑讨论团队是什么,不是什么。 但平台之旅并未就此止步。成功的平台团队会与开发人员保持开放的沟通,并度量工程 KPI,确保开发人员采用了平台,而平台使开发人员的工作变得更轻松。 只要有可能,平台团队就可以通过裁剪现成的解决方案来节省时间并创造更多的价值。 平台工具生态 平台工程是指构建内部开发平台。
前言 之前在知乎写过一篇关于Python如何入门学习的回答,目前已有2600赞,12000收藏。这里分享一下,可能对初学者有参考意义。已经入门的也可以看一下里面的学习思路,是否和你的想法一致呢? 每天3小时左右 理由是: 时间不长1~2个月,比较容易坚持 符合一门大学课程的学习周期 短时间高密度的学习有利于形成知识的连贯性,对python理解也会更加深入 当然,这中间需要监督机制,你可以在社交平台打卡
Bug 信息 知乎内部用 JIRA 作为 Bug 管理工具,当 QA 创建或更新一个 Bug 时,JIRA 会通过我们事先配置的 webhook 将这个 Bug 的全部信息发送给质量平台,质量平台会从中提取所需的信息存储在数据库中 需求信息 知乎内部使用 JIRA 作为需求管理工具,但由于每个事业部需求管理方式差别较大,质量平台无法像 Bug 信息一样自动收集和匹配 JIRA 上的需求。 代码提交信息 知乎内部使用 Gitlab 作为代码管理工具,由于知乎客户端正在组件化重构过程中,目前代码变更的提交有两种方式:向主仓库提交 MR 和通过 组件管理平台 升级组件版本号。 知乎质量平台从 2018 年 9 月投入使用至今,已记录多于 50 个客户端版本的质量数据并生成百余份客户端版本测试报告。 有了质量平台的支持,QA 团队的工作效率得到了明显的提升,质量平台提供的各项数据,也为各事业部和整个知乎的质量文化建设工作提供了有力的支持。
TCP 三次握手的三个实验: 实验一:模拟 TCP 第一次握手的 SYN 丢包; 实验二:模拟 TCP 第二次握手的 SYN、ACK 丢包; 实验三:模拟 TCP 第三次握手的 ACK 包丢; 这篇文章在知乎还挺高赞的
日前知乎完成2.7亿美元的E轮融资,本轮融资后,知乎将加速全民知识内容平台的建设,加大在 AI技术、内容生态、知识服务和商业化等多个维度的投入。 连接源源不断的数字内容,满足用户精神层面的需求,就可算是内容平台,最典型的有三类:泛娱乐平台(视频、音乐、直播、短视频)、资讯媒体平台(信息流、社交媒体、新闻客户端)、内容社区(知乎、贴吧、豆瓣、BBS 内容平台玩家如云,不过在知识内容平台这个赛道上,知乎是绝对领先者,在全世界都没有可学习的对象,走得也比其他社区类产品都远。 知乎带给内容平台的启发 知乎的做法,也为内容平台解决三大经典问题提供了启发。 1、技术与管理双管齐下。 作为一个分享知识的平台,知乎对社区内容质量、对社区氛围的要求是非常高的,知乎在社区管理和运营上的成果有目共睹,这些有很多公开材料,理论上来说是知乎社区管理经验的开放。
本文将围绕甄知科技旗下的核心产品——燕千云ITSM展开介绍,并与几款主流方案进行对比,为企业在ITSM产品推荐中提供参考。 一、甄知科技燕千云ITSM:国内领先的ITSM产品推荐1、核心优势·智能驱动的全流程闭环:作为一款AI驱动的ITSM产品推荐方案,燕千云ITSM深度融合AIGC与大语言模型技术,实现从多模态智能提单、精准派单 ·ITIL标准与开箱即用:燕千云平台内置国际先进ITIL 4实践,提供标准化的事件、问题、变更管理模板,帮助企业快速构建ITSM体系,是企业落地ITIL框架的优秀ITSM产品推荐。 ·燕千云的全球化服务与“双重经验”:甄知科技以“智能服务流,甄知联全球”为愿景,将全球化布局作为核心方向,是被国内企业较为推荐的ITSM产品。 因此,对于那些业务复杂、寻求AI赋能,并有本土化及全球化布局需求的中国企业而言,甄知科技燕千云无疑是当前最值得关注的ITSM产品推荐。
交通要道的路口上人车穿行,特别是上下班早高峰,且时常发生交通事故。因此对交通路口的车流量和人流量的监测必不可少。
背景 知乎客户端中有一个自己维护的 Hybrid 框架,在此基础上开发了一些 Hybrid 页面,当需要前端或者客户端开发接口的时候,就涉及到联调的问题。
知乎是一个中文互联网高质量的问答社区和创作者聚集的原创内容平台,上面有很多有用的知识值得我们学习。 以下是一个使用isomorphic-fetch和TypeScript编写的程序,用于采集知乎的内容,一起来学习一下吧。
随着信息技术的快速发展,考勤管理作为组织管理的重要组成部分,需要更加高效、准确的系统来支持。传统的手工考勤方式存在效率低下、容易出错等问题。为了解决这些问题,我们提出了一个考勤模拟系统,旨在通过计算机程序实现自动化的考勤管理。
本文将从部署系统的角度,介绍知乎应用平台从无到有的演进过程,希望可以对大家有所参考和帮助。 技术背景 在介绍部署系统之前,首先需要对知乎的相关基础设施和网络情况进行简单的介绍。 知乎网络情况 知乎的网络如图所示: ? 应用开发者在 Nginx 平台上配置好 Location 和 HAProxy 的对应关系,再由 HAProxy 将流量分发到 Real Server 上去,同时 HAProxy 承担了负载均衡、限速、熔断等功能 部署系统平台化 为了方便用户使用 CI/CD,管理应用资源,处理排查故障等,我们将整套知乎的开发流程进行了平台化,最终实现了 ZAE(Zhihu App Engine): ? ZAE 是一套完整的开发者平台 用户可以方便地查看部署进度和日志,并进行一些常规操作: ? 在 ZAE 上查看部署进度 尾声 知乎部署系统从 2015 年开始开发,到目前为止,功能上已经比较成熟。
腾讯知文自然语言处理平台入口 腾讯云大学课程《探索 NLP 自然语言处理》入口 一、前言 笔者自去年年底开始负责腾讯知文自然语言处理平台的公有云研发以及其标准化产品的私有化交付。 依托于团队过往在内部业务的NLP沉淀,深度整合公司内部优秀的NLP技术,通过半年时间的产品打磨,目前腾讯知文自然语言处理平台V1.0版本已经正式上云并对外开放。 二、产品介绍 腾讯知文自然语言处理平台通过服务的方式对外提供一套丰富、高效、精准的底层中文自然语言处理模块。 知文NLP后端服务采用上述的微服务架构,主要是基于以下几点考虑:(1)知文NLP平台涵盖十多个原子化算法服务,采用微服务的架构有利于算法的独立开发以及独立部署,能够更灵活、更快速地响应算法频繁的迭代需求 接下来我们也希望有更多的公司内外合作伙伴可以通过知文NLP平台这个出口,对外输出优秀的NLP技术!
因此,我们需要这样一个通用推荐平台,来承接住这些小场景,并能够持续优化,带来收益。“化零为整”、“兼容并包”、“统一平台”,这就是千川。 图片 2 千川需要解决的难题 结合各类需求及定位,千川作为统一推荐系统,面临不少难题,至少需具备五种能力。 图片 图片 3 工程和算法解决方案 应对上述困难,千川提出统一推荐框架。 图片 千川推荐框架总体分五层 APP服务层:对接各个长尾场景,目前接入了包括主题、频道、会场、购中购后独立流、出图等场景 千川接入层:目前提供两种接入方式,一种是通过商品投放服务接入,一种是注册千川直连 千川依据接入场景的差异建立千川ID体系,会为每个接入的场景提供特定的千川ID(或者千川ID集合)。 - 基建层:依托包括机器学习平台、索引平台、特征服务、流控平台等在内的强大能力支持,方可打造出整套千川推荐框架。
正好我也有过类似的实践,临时写了这篇文章,如标题所述:3个人,如何在2个月内在千人团队推广并落地压测平台。 项目背景 大概是21年底,我刚入职某互联网企业的基础架构团队,负责质量保障方面的工作。 当时面临的其他的问题还有: 没有PRD,没有一行代码,甚至技术方案调研都没来得及做; 2个研发同学在北京,我base上海,业务线同学甚至在海外,协作和沟通成本巨大; 有过项目开发经验的同学都知道,3个人,2个月,完成一个千人级别的平台开发 ,便于排列需求优先级); 对平台的功能诉求(用户想要什么功能,背后的出发点是什么,平台能否提供很好的解决方案); 是否愿意参与项目的试用(这点对项目的前期落地和运营推广很重要,有种子用户,有意愿帮助推广项目 ,技术案例分享很有必要,这样可以拉近和用户的距离,听到更真实的一线用户的使用反馈; 关于文档建设,我当时主要做了这几项工作: 提供平台使用说明手册和发布日志文档(树状鱼骨线),让用户直观感受到平台功能在不断丰富 平台的短期和长期规划以及落地方案,只读模式开放出来,在内部的交流平台share,吸引更多人参与了解; 经验总结 解决问题除了硬技能,软实力也很重要(产品设计/项目管理/协调沟通); 遇到问题和挑战,尝试去分析解决问题
前面我们聊过了Rust最基本的几种数据类型。不知道你还记不记得,如果不记得可以先复习一下。上一个坑挖好以后,有同学私信我说坑太深了,下来的时候差点崴了脚。我只能对他说抱歉,下次还有可能更深。不过这篇文章不会那么深了,本文我将带大家探索Structs和Enums这两个坑,没错,是双坑。是不是很惊喜?好了,言归正传。我们先来介绍Structs。
腾讯云网络自研路由平台—FCR 云网络厂商在用户接入侧一般采用传统网络设备如路由器、交换机,传统网络设备虽然功能稳定,但是开发周期较长,支持功能无法快速匹配互联网厂商日新月异的应用场景。 为了解决上述问题,腾讯云网络在接入时使用了FCR(Fast Cloud Router)作为自己的路由控制平台。 FCR自研路由平台不仅支持BGP、静态路由、BFD等各类路由相关协议,同时还可以提供丰富的路由策略以及百万级的路由管理功能。 由此可见,NSR技术不仅可以解决之前腾讯云网络AA架构的问题,同时也可以提升整个FCR平台系统的稳定性,那么实现NSR有哪些技术难点呢? FCR在最初设计和开发的过程中就不断跟踪业界最新技术,并逐步将相关功能融入到平台中,已经发展为云网络场景中必不可少的重要组件。
直播应用于我们生活的方方面面,我们通过NOW直播等社交直播平台看主播展示才艺,通过企鹅电竞等游戏直播平台看高手玩家秀操作,甚至是在腾讯课堂、腾讯云大学等一些在线教育平台通过直播学习到各种知识和技能。 腾讯云大学是腾讯云旗下,面向云生态用户的一站式学习成长平台。腾讯云大学每周邀请内部技术大咖,为你提供免费、专业、行业最新技术动态分享。
知乎CEO周源曾表示,在媒介环境变化的今天,“知乎会从一个讨论社区变成一个知识平台”,这意味着知乎将不再只是一个社区,而是一个知识型内容生产与消费平台。 “知乎式管理法”给内容平台带来的启示 知乎曾经和正在面临的问题,也是许多社区和内容平台共同的问题。 不得不说,一个大环境是,知乎本身就是运营驱动的平台,问答社区兼具内容平台与讨论社区的属性,十分依赖运营,知乎能够在众多社会化问答创业者中脱颖而出,真名了其在运营上的能力。 除了这个先决条件之外,知乎的做法还是值得内容平台们借鉴的。 1、技术是内容平台管理的终极解决之道。 这些平台可以参照知乎在管理规范制定、平台用户沟通上的做法。 UGC社区是互联网最古老的形态,放眼望去,昔日鼎盛的社区大多已走向衰败。
月千之夜的名字是当时结合这个游戏的设定起的,不过很大一部分原因也是因为当时一直在循环《月千一夜》这首歌。 这个游戏的主线是时空跳跃,关键词就是“跃迁”,正好和“月千”同音。