而目前因为项目业务场景的扩展,要越来越多的承担toC的功能,在得物App中使用场景也同样增加,这对项目性能和稳定性又带来了额外的挑战。 当时,正好结合公司部门技术栈统一(业务项目转为使用Java/Go语言)的要求,我们决定在切入业务的过程中,逐渐通过重构迭代,来提升性能,减少问题,并接入公司的技术基建体系,降低代码的维护成本。 而后,我们根据现有的产品流程,评估了从头开发该项目应实施的主要架构和大致技术方案,经过评审完善再作为重构参照,这相当于给项目的整体重构优化提供了一个目标样板。 ---本文属得物技术原创,来源于:得物技术官网得物技术文章可以任意分享和转发,但请务必注明版权和来源:得物技术官网
分块技术不仅提高了内容召回的准确性,还提升了整体系统的响应速度和用户体验。因此,在构建和优化基于LLM的应用程序时,理解和应用分块技术是不可或缺的步骤。 适用场景客服对话、访谈、会议纪要、技术支持工单等多轮交流。 告别数据无序:得物数据研发与管理平台的破局之路2. 从一次启动失败深入剖析:Spring循环依赖的真相|得物技术3. Apex AI辅助编码助手的设计和实践|得物技术4. 从 JSON 字符串到 Java 对象:Fastjson 1.2.83 全程解析|得物技术5. 用好 TTL Agent 不踩雷:避开内存泄露与CPU 100%两大核心坑|得物技术文 /昆岚关注得物技术,每周更新技术干货要是觉得文章对你有帮助的话,欢迎评论转发点赞~未经得物技术许可严禁转载,否则依法追究法律责任
得物开放平台接入得物SDK 千寻简笔记介绍千寻简文库已开源,Gitee与GitHub搜索chihiro-doc,包含笔记源文件.md,以及PDF版本方便阅读,文库采用精美主题,阅读体验更佳,如果文章对你有帮助请帮我点一个 @[toc]简介本文接入得物开放平台,本文关键词得物开放平台、得物SDK、得物PUSH、获取订单、虚拟发货实现步骤1 引入依赖在得物开放平台下载JDK,本文以得物JDK1.3.8.RELEASE为基础进行接入 下载后有三个文件:open-sdk-java-1.3.8-okhttp.RELEASE.jaropen-sdk-java-1.3.8-urlconnect.RELEASE.jar得物开放平台Java版sdk 新增得物配置信息,其他环境一样配置### 得物配置dewu: gatewayHost: https://openapi.dewu.com appKey: xxx secret: xxxx2.2 *;import javax.annotation.Resource;import java.util.Map;/** * 得物控制器 */@RestController@RequestMapping
一、前言随着近几年得物的业务和技术的快速发展,我们不管是在面向C端场景还是B端供应链;业务版本的迭代更新,技术架构的不断升级;不管是业务稳定性还是架构稳定性,业务灰度的能力对我们来说都是一项重要的技术保障 为了解决这个问题,我们设计了面向研发和业务的可视化动态表单的配置方式,集成现成的页面表单搭建技术平台或动态表单技术平台,使得配置可以以可视化的形式展示。 配置可视化设计集成这是我们内部页面表单搭建技术,通过简单配置或者拖拽的方式进行自定义表单。最后在灰度配置里面选择关联上对应的表单模版即可。 白名单内容 */ private List<Object> values; }}八、其他非功能设计还有一些非功能性的设计更多是和现有系统能力集成,对接成本和每个公司的技术栈有差异 *文 / feel本文属得物技术原创,未经得物技术许可严禁转载,否则依法追究法律责任!
2面对的问题2.1 数据承接点问题原业务流程在数据承接上跨越了核心P0链路后才把数据落地到库存应用(造成了一定的技术风险,历史上也确实发生过一次技术故障 ,消费上游消息代码有bug,导致P0清结算链路数据下发出现阻塞 4.3 技术价值(1)技术价值:首次尝试了在线TIDB切换流程(包括数据复制、数据同步、数据比对、数据切流),积累了TIDB切换经验,给后续的TIDB迁移专项提供了经验沉淀。 (2)技术价值:把P0级的清结算应用里的部分功能迁移到库存应用中,解决了大流量的仓库数据下传至清结算应用的风险,实现了交易和非交易在应用级别的解耦和隔离。 (3) 团队价值:以赛代练,通过该项目培养了组内成员对于数仓平台和报表平台的实践和使用,拓宽了团队整体的技术栈,并积累了数据开发的对应经验,也落地了数仓平台和报表平台的操作使用文档(节省了后续团队成员的数据开发熟悉接入的成本
除了上面提到的技术外,提高大模型推理速度的还有大模型的量化技术等,这里先不探讨,后面有机会,我们会单独发文章来介绍。 八、推理框架推荐在前文中,我们探讨了几种加速和优化技术,诸如Flash Attention、Page Attention、MOE以及张量并行技术。 展望未来,随着技术的不断进步和新算法的不断涌现,我们相信还会有更多的加速优化技术被开发出来,进一步推动大模型推理效率的提升。 text-generation-inference/en/conceptual/flash_attention[15] https://blog.vllm.ai/2023/06/20/vllm.html*文/ linggong本文属得物技术原创 ,更多精彩文章请看:得物技术官网未经得物技术许可严禁转载,否则依法追究法律责任!
在得物的商家后台中,商家的所有批量操作都承载在批处理系统(批处理中心),商家可以通过在功能页面操作批量导入或是批量导出来完成批量操作。操作后的文件将展示在下载中心。 随着得物体量的不断上升,批处理系统也在不断演进。简单来说,批处理系统经历了从分散到耦合、再到集中与隔离的多个发展阶段。 *文 / 稚归本文属得物技术原创,未经得物技术许可严禁转载,否则依法追究法律责任
往期回顾 1.得物社区活动:组件化的演进与实践2.从CPU冒烟到丝滑体验:算法SRE性能优化实战全揭秘|得物技术3.CSS闯关指南:从手写地狱到“类”积木之旅|得物技术4.以细节诠释专业,用成长定义价值 ——对话@孟同学 |得物技术5.大语言模型的训练后量化算法综述 | 得物技术文 / 竹径关注得物技术,每周更新技术干货要是觉得文章对你有帮助的话,欢迎评论转发点赞~未经得物技术许可严禁转载,否则依法追究法律责任
2.技术选型为什么会选择Electron而不是其他应用开发框架?2.1 Electron架构简介Electron的构成主要是上面的3个大模块,每个模块各司其职,让Electron有了桌面应用的能力。 Web技术的代表Electron 和 NW.js ,相比之前选择Electron,Electron有非常活跃的社区,有102k star,有Atom、vscode这样的大型应用都是基于Electron开发的 3.技术实现3.1 项目架构首先介绍下Electron框架里面两个重要的概念主进程和渲染进程。主进程:主要负责创建和管理BrowserWindow实例以及应用程序事件。 4.技术挑战在从0到1搭建商家客服桌面端的过程中,遇到了很多的问题,Electron社区虽然很活跃,但是不一样场景遇到的问题,几乎找不到对应的解决方案,所以很多都是在探索过程中不断的去完善。 接下来需要完善的开发流程,克服的技术难点有很多,商家客服工作台应用也会越来越完善。文/Uni
2面对的问题 2.1 数据承接点问题 原业务流程在数据承接上跨越了核心P0链路后才把数据落地到库存应用(造成了一定的技术风险,历史上也确实发生过一次技术故障 ,消费上游消息代码有bug,导致P0清结算链路数据下发出现阻塞 4.3 技术价值 (1)技术价值:首次尝试了在线TIDB切换流程(包括数据复制、数据同步、数据比对、数据切流),积累了TIDB切换经验,给后续的TIDB迁移专项提供了经验沉淀。 (2)技术价值:把P0级的清结算应用里的部分功能迁移到库存应用中,解决了大流量的仓库数据下传至清结算应用的风险,实现了交易和非交易在应用级别的解耦和隔离。 (3) 团队价值:以赛代练,通过该项目培养了组内成员对于数仓平台和报表平台的实践和使用,拓宽了团队整体的技术栈,并积累了数据开发的对应经验,也落地了数仓平台和报表平台的操作使用文档(节省了后续团队成员的数据开发熟悉接入的成本
添加描述2.技术选型为什么会选择Electron而不是其他应用开发框架? Web技术的代表Electron 和 NW.js ,相比之前选择Electron,Electron有非常活跃的社区,有102k star,有Atom、vscode这样的大型应用都是基于Electron开发的 添加描述3.技术实现3.1 项目架构添加描述首先介绍下Electron框架里面两个重要的概念主进程和渲染进程。主进程:主要负责创建和管理BrowserWindow实例以及应用程序事件。 4.技术挑战在从0到1搭建商家客服桌面端的过程中,遇到了很多的问题,Electron社区虽然很活跃,但是不一样场景遇到的问题,几乎找不到对应的解决方案,所以很多都是在探索过程中不断的去完善。 接下来需要完善的开发流程,克服的技术难点有很多,商家客服工作台应用也会越来越完善。文/Uni
*文 / 预子本文属得物技术原创,未经得物技术许可严禁转载,否则依法追究法律责任!
需要在圈品、圈人、AB实验、数据大盘等多角度进行分析;频繁的调整策略打法,也需要技术侧进行迭代升级。 1.2 为什么要做成平台? 下面对技术链路进行展开。 2技术链路 2.1 业务架构: 经过2022 Q4季度的研发工作,当前场景已经覆盖了交易搜索及部分推荐场景。 (2)非商品调控能力建设: a:底纹词&搜索发现词、搜索框下拉推荐词等词导购场景覆盖,与query直达相结合,能够通过更多低成本的场景支持业务扶持指定货品的诉求 b:社区内容作为得物的核心场景,且当前社区内容中的商品标签
0 前言 DTS 是数据传输平台 (Data Transfer Platform 的缩写) 随着得物 App 的用户流量增长,业务选择的数据库越来越多样化,异构数据源之间的数据同步需求也逐渐增多。 本文主要从技术选型、能力支持与演化的角度出发,分享了在 DTS 平台升级过程中获得的经验,并提供一些参考。 1 技术选型 DTS 的主要目标是支持不同类型的数据源之间的数据交互,包括关系型数据库(RDBMS)、NoSQL 数据库、OLAP 等,同时整合了数据库配置管理、数据订阅、数据同步、数据迁移、DRC 双活数据同步支持 5.2 统一技术栈 将现有的 DTS 能力都迁移到 Flink 平台上,保持统一的技术栈,能够极大的降低维护成本。现有遗留的双向同步、数据比对等能力需要做进一步的改造和迁移,符合整体技术收敛的趋势。 6 总结 本文主要分享了以下几个方面:Flink 相比现有的技术栈带来的收益,切换到 Flink 以后的迭代方向及架构功能上的变更、带来新的问题如何解决,以及未来的一些迭代方向,希望能让大家有所收获。
2面对的问题 2.1 数据承接点问题 原业务流程在数据承接上跨越了核心P0链路后才把数据落地到库存应用(造成了一定的技术风险,历史上也确实发生过一次技术故障 ,消费上游消息代码有bug,导致P0清结算链路数据下发出现阻塞 4.3 技术价值 (1)技术价值:首次尝试了在线TIDB切换流程(包括数据复制、数据同步、数据比对、数据切流),积累了TIDB切换经验,给后续的TIDB迁移专项提供了经验沉淀。 (2)技术价值:把P0级的清结算应用里的部分功能迁移到库存应用中,解决了大流量的仓库数据下传至清结算应用的风险,实现了交易和非交易在应用级别的解耦和隔离。 (3) 团队价值:以赛代练,通过该项目培养了组内成员对于数仓平台和报表平台的实践和使用,拓宽了团队整体的技术栈,并积累了数据开发的对应经验,也落地了数仓平台和报表平台的操作使用文档(节省了后续团队成员的数据开发熟悉接入的成本
需要在圈品、圈人、AB实验、数据大盘等多角度进行分析;频繁的调整策略打法,也需要技术侧进行迭代升级。 1.2 为什么要做成平台? 下面对技术链路进行展开。 2技术链路 2.1 业务架构: 经过2022 Q4季度的研发工作,当前场景已经覆盖了交易搜索及部分推荐场景。 (2)非商品调控能力建设: a:底纹词&搜索发现词、搜索框下拉推荐词等词导购场景覆盖,与query直达相结合,能够通过更多低成本的场景支持业务扶持指定货品的诉求 b:社区内容作为得物的核心场景,且当前社区内容中的商品标签
2.技术选型 为什么会选择Electron而不是其他应用开发框架? Web技术的代表Electron 和 NW.js ,相比之前选择Electron,Electron有非常活跃的社区,有102k star,有Atom、vscode这样的大型应用都是基于Electron开发的 3.技术实现 3.1 项目架构 首先介绍下Electron框架里面两个重要的概念主进程和渲染进程。 主进程:主要负责创建和管理BrowserWindow实例以及应用程序事件。 4.技术挑战 在从0到1搭建商家客服桌面端的过程中,遇到了很多的问题,Electron社区虽然很活跃,但是不一样场景遇到的问题,几乎找不到对应的解决方案,所以很多都是在探索过程中不断的去完善。 接下来需要完善的开发流程,克服的技术难点有很多,商家客服工作台应用也会越来越完善。
技术原理1.19 版本开始,StarRocks支持将数据通过外表方式写入另一个StarRocks集群的表中。这可以解决用户的读写分离需求,提供更好的资源隔离。 技术原理Flink是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。 85%A5%E8%87%B3-hll-%E5%88%97https://docs.starrocks.io/zh/docs/2.5/unloading/Flink_connector/*文/ 管虎本文属得物技术原创 ,未经得物技术许可严禁转载,否则依法追究法律责任!
唯一性字符串:适用于存储具有唯一性的字符串,如SpuId、货号、得物订单号等。Numeric数值类型,包含long、interger、short、byte、double、float等数字类型。1. 索引的结构直接影响集群的稳定性,因此我们在创建索引的时候要养成习惯,作为技术方案的一环去仔细打磨这样才能保证线上的稳定性。 文 / 阳光关注得物技术,每周一、三更新技术干货要是觉得文章对你有帮助的话,欢迎评论转发点赞~未经得物技术许可严禁转载,否则依法追究法律责任。
除了线程池,其实更多的也接触过数据库连接池、netty的对象池等池化技术,这些池化思想其实都是为了更好的降低资源的消耗以及更好的进行资源管理。 基于浏览器扩展 API Mock 工具开发探索|得物技术2. 破解gh-ost变更导致MySQL表膨胀之谜|得物技术3. MySQL单表为何别超2000万行? 揭秘B+树与16KB页的生死博弈|得物技术4. 0基础带你精通Java对象序列化--以Hessian为例|得物技术5. 前端日志回捞系统的性能优化实践|得物技术文 /舍得关注得物技术,每周更新技术干货要是觉得文章对你有帮助的话,欢迎评论转发点赞~未经得物技术许可严禁转载,否则依法追究法律责任。