- 综合排序
- 最热优先
- 最新优先
- 来自专栏张叔叔讲互联网
如何从0到1搭建高可用的画像平台-基础准备
之前的章节比较偏重理论方法介绍，本章将从实践的角度介绍如何从0到1搭建画像平台，包括运行环境配置和服务端工程框架的搭建。 ，为画像平台的运行提供基础运行环境；服务端工程框架搭建将介绍如何构建多模块项目以及如何通过代码连接和使用各类大数据组件。 搭建画像平台所需的安装包以及核心代码已经上传到开源平台（https://gitee.com/duomengwuyou/userprofile-demo），可以下载后按照本章内容进行环境搭建并代码运行。 技术组件协作关系图7-1描述了画像平台各技术组件之间的协作关系，不同组件通过协作支持了画像平台各功能模块的实现。图片画像平台基础环境主要包含大数据环境和存储引擎。 画像平台最终以可视化的操作页面或者SDK的方式对外提供画像服务，其中可视化页面依赖前端技术实现。基础环境准备正式搭建画像平台环境之前，需要做好软硬件基础环境准备。
63730编辑于 2023-10-28 - 来自专栏数据社
从0到1搭建自助分析平台
一、什么是自助分析平台 自助分析平台是构建在大数据平台之上的，依托于大数据平台的数据研发能力，通过统一的数据服务，实现对数据查询、分析的统一管理，为企业业务分析提供高效的数据决策支持，同时也避免数据工程师陷入繁杂的提数需求中 其实，一直以来，各大公司的数据分析平台都只有一个目标——干掉Excel。 二、自助分析平台该有哪些模块 ? 支持多数据源接入 自助分析平台要能够支持多种数据源、不同数据类型文件的接入，能够让数据工程师和业务人员快速的把数据导入到自助分析平台中。 比如业务人员已经有一些用户基本信息，它能够通过导入用户名，通过用户名关联到对应的用户分析数据。并能够对不同类型的用户进行分组聚合操作。以上所有的操作需要实现拖拽式，不需要让业务人员写一行代码。 四、总结 实际中业务人员和IT团队对于自助分析平台的搭建都有自己的想法，也想通过数据来给公司去做一些事情，所以在建立自助分析平台时，可以和业务人员不断的沟通，先定一些主题数据，做成果展示，和业务人员以及领导分享
1.9K20发布于 2020-09-16 - 来自专栏bit哲学院
如何从0到1搭建大数据平台
参考链接： 使用Python的SQL 3(处理大数据) 大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。 随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。 架构总览 通常大数据平台的架构如上，从外部采集数据到数据处理，数据显现，应用等模块。 数据采集 用户访问我们的产品会产生大量的行为日志，因此我们需要特定的日志采集系统来采集并输送这些日志。 通常我们在实际工作中，从数据源到分析报告或系统应用的过程中，主要包括数据采集同步、数据仓库存储、ETL、统计分析、写入上层应用数据库进行指标展示。 结尾 通过本文，可以对大数据平台处理做初步了解，知道包含哪些技术栈，数据怎么流转，想要真正从0到1搭建起自己的大数据平台，还是不够的。
1.4K20发布于 2020-12-22 - 来自专栏数据社
如何从0到1搭建大数据平台
大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。 随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。 通常大数据平台的架构如上，从外部采集数据到数据处理，数据显现，应用等模块。 数据采集 ? 用户访问我们的产品会产生大量的行为日志，因此我们需要特定的日志采集系统来采集并输送这些日志。 通常我们在实际工作中，从数据源到分析报告或系统应用的过程中，主要包括数据采集同步、数据仓库存储、ETL、统计分析、写入上层应用数据库进行指标展示。 结尾 通过本文，可以对大数据平台处理做初步了解，知道包含哪些技术栈，数据怎么流转，想要真正从0到1搭建起自己的大数据平台，还是不够的。
4K21发布于 2020-07-02 - 来自专栏星回的实验室
推荐系统从0到1:数据与画像
回望2017年，最大的成就莫过于从0到1搭建起了一套支持多业务场景、高并发访问、高时效性的新闻推荐系统。这其中自是暗坑无数，趁着还未淡忘，将系统搭建过程中遇到的困难与解决方法记录于此。 0. 本文只是尝试从几个大模块简述上手搭建推荐系统的过程，不会深入探讨。然而要想推荐达到可观的效果，深入挖掘每个模块，研读论文、优化架构是必不可少的。 以下我会从数据、画像（内容/用户）、召回和排序几个部分分别详述。 1. 数据 推荐系统，最重要的是数据。数据决定了算法的上界，再牛逼的算法也只是逼近这个上界而已。因此搭建系统时，首要考虑完善数据。 我在系统搭建的过程中，遇到最头疼的问题就是在NLP时需要依据某个内容属性而源数据没有抓取该属性，因此做抓取前尽量考虑周全，预留好一些字段是很有必要的。 以从腾讯网抓取的新闻部分属性为例： ? yt 表示 t 时刻的用户画像，yt-1 表示上一时刻的画像，λ 为时间衰减因子。 3.2.
2.8K50发布于 2018-08-02 - 来自专栏运维开发故事
使用Zadig从0到1搭建持续交付平台
Zadig是一个持续交付的平台，它集CI、CD、自动化测试于一身，致力于构建一个云原生开源的软件交付平台。 （1）添加MySQL的Helm repo $ helm repo add stable https://charts.helm.sh/stable （2）下载MySQL chart包到本地（我个人习惯 （1）首先，需要我们创建项目，如下： （2）新增服务点击服务--> 从模板库创建 按着需要填写信息，需要自定义的value.yaml，可以到高级部分定制。 我们选择使用模板进行创建，然后关联到对应的服务和代码即可。 环境管理 服务准备好了，构建也添加了，下一步就该把服务部署到对应的环境了。 由于我们公司使用的钉钉作为平时工作交流的平台，所以我这里接入的是钉钉消息通知。
1.6K30编辑于 2022-09-15 - 来自专栏数据社
从0到1搭建大数据平台之调度系统
记得第一次参与大数据平台从无到有的搭建，最开始任务调度就是用的Crontab，分时日月周，各种任务脚本配置在一台主机上。crontab 使用非常方便，配置也很简单。 比如上游任务1结束后拿到结果，下游任务2、任务3需结合任务1的结果才能执行，因此下游任务的开始一定是在上游任务成功运行拿到结果之后才可以开始。 存放工作流，任务元数据信息 具体执行流程： scheduler扫描dag文件存入数据库，判断是否触发执行 到达触发执行时间的dag,生成dag_run，task_instance 存入数据库 发送执行任务命令到消息队列 worker从队列获取任务执行命令执行任务 worker汇报任务执行状态到消息队列 schduler获取任务执行状态，并做下一步操作 schduler根据状态更新数据库 Kettle 将各个任务操作组件拖放到工作区 任务编排，采用调用外部编排服务的方式，主要考虑的是编排需要根据业务的一些属性进行实现，所以将易变的业务部分从作业调度平台分离出去。如果后续有对编排逻辑进行调整和修改，都无需操作业务作业调度平台。
3.5K21发布于 2020-07-22 - 来自专栏全栈程序员必看
【用户画像】从0到1掌握用户画像知识体系
一、初始用户画像 1.1 用户画像 随着用户的一切行为数据可以被企业追踪到，企业的关注点日益聚焦在如何利用大数据为经营分析和精准营销服务，而要做精细化运营，首先要建立本企业的用户画像。 参考下方案例从明确整体商业目标，到商业目标拆解和量化的过程： O：假设该服装零售商线上的布局已经比较完善，现阶段的首要商业目的就是提升销售金额，因此“提升销售金额”就是该零售电商的北极星指标，那么提升流量 1、Hive数据仓库ETL作业 下方虚线框中为常见的数据仓库ETL加工流程，也就是将每日的业务数据、日志数据、埋点数据等经过ETL过程，加工到数据仓库对应的ODS层、DW层、DM层中。 5.1.3 效果分析 在AB组人群消息推送上线后，后续需要搭建监控报表来监测控制组和测试组的流量和转化情况，主要关注下方列表中的指标： 例如，使用事件分析模型搭建的AB人群的GMV对比报表，见下图： 六、总结 1、首先，描述了有关用户画像、用户标签、用户群组的认知性概念； 2、然后，阐述了标签体系的分类、标签建设的流程和方法； 3、为了说明如何让“躺在”数据仓库中的画像标签数据发挥更大的业务价值，接下来从系统架构
3K11编辑于 2022-09-01 - 来自专栏测试开发卷货
从0到1搭建dubbo服务
,课程链接: https://www.bilibili.com/video/BV1ns411c7jV 环境搭建 分为4个部分: zookeeper(服务注册中心) + 服务生产者 + 服务消费者 + 服务监控中心 zookeeper版本推荐3.4.6(一开始用的zookeeper-3.7.0版本,踩坑了很久) 安装包获取 首先推荐从本人的代码仓库中获取安装包,代码仓库地址上面有介绍, 安装包在software目录里面 目标是 "订单服务" 通过dubbo远程调用 "用户服务" 有2种方式: 直接运行代码 和 jar包运行 首先介绍jar包方式运行(推荐): 从代码仓库拉取代码后, 在software目录中有2个文件夹 & 访问 访问 配置zookeeper的ip:7001 用户名:root 密码:root 分别启动上面的 提供者服务 和 消费者服务, 可以看到下图, 显示有1个提供者 + 1个消费者 结束 到此为止, 我们已经成功搭建好了一个dubbo服务了, 哈哈哈!
44920编辑于 2022-06-27 - 来自专栏madMen
安全运营平台从0到1
如果不使用内部的框架在部署方面则会麻烦很多，考虑到后期的运维，最终还是选择了基于内部的微服务框架开发。 不过，这样做的最大的问题就是学习成本，因为这个内部框架与外部的 web 框架差异较大，而且作为安全的唯一开发也是两眼一抹黑，只能跟在开发大佬后面跪舔，才慢慢把应用的雏形搭建起来。 安全运营平台的核心是应用安全的运营，漏洞管理作为安全运营平台的核心之一，也往往是安全运营平台被开发所熟知的方面之一。 不过对于这种情景，是需要经过业务方领导的审批，确保业务方能够明确意识到这个漏洞潜在的风险。 漏洞另外一个重要的内容就是和资产的联动。一个成熟的 cmdb 对于安全来说真的太重要了。 因为这可以帮助安全迅速的定位到明确的责任人，从而确保漏洞的及时修复，其实这也涵盖其它的安全内容，包括像安全事件，甚至在安全应急响应中，好的 cmdb 对于安全来说真的非常重要。
1.7K30编辑于 2022-03-11 - 来自专栏前端小兵成长营
从 0 到 1 node 项目管理系统：搭建基础平台（下）
前言 基础平台搭建上篇 介绍项目流程设计、数据库搭建、jwt 登录等模块 基础平台搭建中篇 介绍分支管理设计、webSocket 基础模块 本篇下将介绍流程管理与提测相关基础模块 后端模块 DevOps - Gitlab Api使用（已完成，点击跳转） DevOps - 搭建 DevOps 基础平台（已完成 70%） DevOps - Gitlab CI 流水线构建 DevOps - Jenkins 服务质量监控 前端模块 DevOps - H5 基础脚手架 DevOps - React 项目开发 后期可能会根据 DevOps 项目的实际开发进度对上述系列进行调整 流程与提测管理 流程管理 在基础平台搭建上篇已经介绍过流程的设计 先完成主要功能，后期再进一步的拓展 提测管理 开发人员在开发完对应功能进行项目提测 未关联流程的分支不能进行提测 提测之后，测试同学介入测试，根据 desc （需求）进行测试 开发内容再提测之后，才能发布到预发或生产 ({ desc, name, branchIds, submitUserId, testUserId, testStatus: 0,
1.2K20发布于 2020-10-23 - 来自专栏vivo互联网技术
从0到1设计通用数据大屏搭建平台
相比于传统手工定制的图表与数据仪表盘，通用大屏搭建平台的出现，可以解决定制开发, 数据分散带来的应用开发、数据维护成本高等问题，通过数据采集、清洗、分析到直观实时的数据可视化展现，能够多方位、多角度、全景展现各项指标 本文将通过敏捷BI平台的通用大屏搭建能力的实现方案，来讲解一下通用可视化搭建平台整体的设计思路。 画布编辑器：是搭建平台的核心与难点，支持页面布局配置、页面交互配置和组件数据配置等功能，另外还支持代码片段的配置，也可以称得上是一个低代码平台。 3.3 搭建流程通过上面提到的大屏组成元素，我们可以分析总结出大屏搭建主流程如下图所示：四、核心功能实现接下来我们会逐一对平台几个核心功能实现进行解析：1、大屏自适应布局背景：解决页面错乱问题，实现多种分辨率的大屏适配 五、效果预览六、总结本文通过可视化页面搭建、no/low code 平台、Schema 动态表单等技术思想来分析讲解了如何去设计开发一个通用的数据大屏搭建平台。
4.2K40编辑于 2022-10-17 - 来自专栏数据社
从0到1搭建大数据平台之数据采集系统
海量的数据 当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据。 复杂的数据 复杂数据的概念和理想数据完全相反。 通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。 每时每刻产生的业务数据，以数据库一行记录的形式被直接写入到数据库中保存。 所以我们通常通过数据库采集系统直接与企业业务后台数据库服务器结合，在业务不那么繁忙的凌晨，抽取我们想要的数据到分析数据库或者到HDFS上，最后有大数据处理系统对这些数据进行清洗、组合进行数据分析。 2006年项目从Butch搜索引擎中独立出来，成为了现在的Hadoop。 GFS隐藏了底层的负载均衡，切片备份等细节，使复杂性透明化，并提供统一的文件系统接口。
1.7K30发布于 2020-07-14 - 来自专栏接地气学堂
从0到1，搭建经营分析体系
今天用个最通俗的例子，带大家看看，如何搭建经营分析体系。 比如： 1.增加餐品：黄焖小排、黄焖五花肉安排上 2.增加酒水：啤酒、饮料、矿泉水安排上 3.增加获客：美团、饿了吗安排上 4.增加消费：定套餐送卤蛋，两人餐优惠5元安排上 是滴，有很多手段都能增加交易 因此可以用以下分类，来区分业务特点（如下图） 这样就像搭积木一样，把整个体系从最简单的公式，逐渐丰富，并且监控到可能影响经营效果的各个环节。 现实中的困难 整体看起来，其实搭建经营分析体系的过程，就是一个不断梳理，逐步细化的过程。那为什么现实中经营分析总做的磕磕绊绊呢？ 注意！ 虽然都叫“黄焖鸡米饭”但是： 1.自己开店进货卖黄焖鸡 2.开连锁店经营黄焖鸡 3.开加盟店“老陈头”黄焖鸡 就是三个不同商业场景，差异大到需要每一个单独完成本篇梳理了。可不能混为一谈。
93640编辑于 2022-03-28 - 来自专栏前端二次元
Vite前端项目搭建从0到1
环境搭建首先需要的是代码编辑器和浏览器，我推荐安装VSCode和Chrome浏览器。 ，我们进入到项目初始化阶段。 当浏览器解析到新的 import 语句，又会发出新的请求，以此类推，直到所有的资源都加载完成。 tsc 作为 TypeScript 的官方编译命令，可以用来编译 TypeScript 代码并进行类型检查，而这里的作用主要是用来做类型检查，我们可以从项目的tsconfig.json中注意到这样一个配置 :{ "compilerOptions": { // 省略其他配置 // 1. noEmit 表示只做类型检查，而不会输出产物文件 // 2.
1.3K80编辑于 2023-11-15 - 来自专栏全栈测试
从0到1带你搭建个人博客
01 docker-compose介绍 1）docker compose是什么？ Compose 是用于定义和运行多容器 Docker 应用程序的工具。 02 安装docker-compose 1）docker-compose安装命令 安装docker-compose命令如下： curl -L "https://get.daocloud.io/docker 03 docker-compose安装jpress 1）下载docker-compose.yml 下载jpress的docker-compose.yml文件，命令如下： wget https://gitee.com 04 博客安装配置、文章发布 1）访问博客主页 容器启动成功后，浏览器访问：http://IP:8080，如下图所示： ? 2）配置数据库信息 点击下一步，配置数据库信息，默认下一步。 ?
53320发布于 2021-08-06 从 0 到 1 搭建个人 AI 助手
本文从 0 到 1 介绍个人 AI 助手的核心能力、搭建思路与实用步骤，帮助读者打造真正能提升效率的个人 AI 助手。 目录一、什么是个人 AI 助手二、为什么每个人都值得拥有 AI 助手三、个人 AI 助手的核心能力四、从 0 到 1 搭建步骤五、实用应用场景示例六、QA 问答七、总结参考文献一、什么是个人 AI 助手 学习辅助能力如：生成学习路线知识框架搭建重点归纳四、从 0 到 1 搭建步骤第一步：明确使用目标先想清楚：主要用于工作？学习？内容创作？ 目标越清晰，效果越好。 场景 2：学习新领域AI 生成：知识框架学习路线关键资料建议场景 3：内容创作AI 可辅助：选题构思结构搭建初稿生成六、QA 问答Q1：个人 AI 助手需要技术基础吗？ 从 0 到 1 的关键是：✔ 明确目标✔ 选好场景✔ 固定流程✔ 持续优化未来真正的差距，不是有没有 AI，而是： 谁更会用 AI。
54710编辑于 2026-02-05- 来自专栏码力up
一、从0到1搭建Vue工程
npm是一个JavaScript 包管理工具，也是Node.js 的默认包管理器，它提供了一种简单的方式来安装、更新和管理Node.js的包。
19610编辑于 2025-12-18 《从0到1搭建客户画像系统：AI工具矩阵如何解决开发困局》
企业数字化转型中，技术贴合“隐性业务逻辑”远比从零构建新系统更棘手。 我们为一家主营美妆与家居的零售企业搭建客户画像系统时，就陷入三重困境：业务需求模糊，“精准用户分层”“实时消费预测”等表述背后，藏着未明说的细节，比如“高价值用户”是否包含推荐好友转化维度；6类数据源高度异构 ，ERP交易数据是120字段的CSV、APP行为日志是动态JSON、线下会员信息散在Excel中，还存在重复注册、手机号缺失等问题；团队此前无同类项目经验，从数据建模到标签权重设计全靠摸索。 先将3页业务需求、企业年营销报告、美妆行业画像案例整合成1.2万字背景包，投喂豆包并要求拆解为“数据-标签-应用”三层模块，重点标注美妆特性。 系统最终28天上线，实现效率与价值双重提升：开发周期缩短38%，非编码时间占比从30%降至10%，技术卡点解决时间从4小时缩至1小时。
31300编辑于 2025-09-25- 来自专栏软件测试架构师俱乐部
从0到1开发测试平台（二）springboot搭建常见问题
上篇遗漏补充 本来第二篇是准备写前端vue搭建的，但是在上一篇文章中，有几个地方遗漏和疏忽的地方需要指正下，还有数据库环境的搭建和java环境的搭建，并且会在第一篇搭建的基础上根据实际项目做些优化调整 1.pom.xml文件还需要添加spring-boot-starter-web依赖，添加如下(不添加的话,@RestController注解无法使用) <dependency> <groupId 常见报错 1.访问接口报错org.apache.ibatis.binding.BindingException: Invalid bound statement (not found) 解决参考： (1
98840发布于 2020-06-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号