首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏深度学习与python

    国产金融分布式数据库金融核心场景的探索与实践

    作者 | 贾瓅园 金融行业作为国民经济的命脉和枢纽,对数据库有着极为严苛的要求。近年来,国产金融分布式数据库迈上了发展的快车道,在多个领域不断取得新突破。 今天为大家带来腾讯云金融行业架构专家贾瓅园老师在金融架构方面的分享,主题为“国产金融分布式数据库金融核心场景的探索实践”。 3 金融分布式数据库架构探索 根据上述分析与要求,结合分布式数据库金融领域的挑战与痛点,我们在金融分布式架构体系方面进行了探索。 完善金融整体解决方案,我们必须要在满足金融监管要求的同时,满足金融客户各类建设特点,以抽象思路和通用化的设计回归到统一的数据库产品。 深入金融业务场景探索。 打磨高可用和稳定性。 创新金融 DB SaaS 服务。以前述提及的数据迁移体系、运维模式、建设模式为例,它能否对未来的金融厂商、客户提供专业的数据库金融场景服务,这些都需要我们不断地去创新和探索。

    1.9K30编辑于 2022-06-11
  • 来自专栏数据库架构之美

    金融分布式数据库架构设计要点

    行业背景 银行业从最初的手工记账到会计电算化,到金融电子化,再到现在的金融科技,可以看到金融与科技的结合越来越紧密,人工智能、大数据、物联网、区块链等新兴技术改变了金融的交易方式,为金融行业的创新前行提供了源源不断的动力 同时互联网金融的兴起是一把双刃剑,带来了机遇的同时也带来了挑战。普惠金融使得金融的门槛降低,更多的普通大众参与到金融活动中,这让金融信息系统承受了越来越大的压力。 随着数据库瓶颈的凸显,进行分布式改造迫在眉睫。 数据库分布式改造的途径 数据库进行分布式改造主要有三种途径:分布式访问客户端、分布式访问中间件、分布式数据库。 分布式数据库总体架构 其实当前市面上的分布式数据库总体架构都是类似的,由必不可缺的三个组件组成:接入节点、数据节点、全局事务管理器。 分布式数据库如何实现PITR 数据库的PITR一般都是通过一个基础备份加上持续不间断的wal归档来做到的,这个基础备份可以是在线的,因为它并不需要数据库当时处于一致性状态,一致性可以通过replay redo

    3.2K61发布于 2020-01-17
  • 来自专栏渗透云笔记

    金融漏洞挖掘思路总结

    朋友问我为啥不更新了,我说天天转发这个转发那个。时间一多大家都烦躁,不如不发,或者发一些自己在项目上的一些问题,最近入职了新的公司,没错,终于找到了工作,太不容易了。

    99620编辑于 2022-12-18
  • 来自专栏我和PYTHON有个约会

    33.企业开发进阶6数据库操作

    亲,请明白为什么要有数据库连接驱动 首先:我们明白,编程语言和数据库各自都是什么 编程语言:专门用于进行数据处理的独立的个体 数据库:专门用于进行数据储存的独立的个体 也就是说,编程语言和数据库本身是两个完全独立的个体 为了持久的有效的保存数据,我们选择将处理的数据保存在数据库中 其次:编程语言,凭什么可以访问数据库 数据库给编程语言专门开了一个后门(API),通过这个后门(API)就可以让编程语言对数据库中的数据进行增删改查操作了 3. python操作数据库中的数据 首先,我们打开mysql数据库编辑工具(这里我使用的是sqlyog操作mysql,大家可以随意),创建用户表(我们将数据库表创建的稍微正式点): # 创建数据库 CREATE 操作数据库数据的步骤 连接数据库 获取一个访问数据库的操作对象 定义SQL语句 执行SQL语句 处理结果 关闭和数据库之间的连接 我们使用python操作数据库,打开和数据库的连接并维持连接是需要消耗系统资源滴 python数据库基本操作 上述程序运行结束之后数据库中的数据,仔细观察 ? python数据库基本操作 3.4.

    83320发布于 2018-08-27
  • 来自专栏腾讯云数据库(TencentDB)

    亿客户和PB级数据规模的金融数据库实战历程

    当时,腾讯有一款金融的分布式数据库产品TDSQL,其业务场景和对数据库的可靠性要求,和银行场景非常类似。 微众银行和腾讯TDSQL团队合作,共同将TDSQL打造为适合银行核心场景使用的金融分布式数据库产品,并将TDSQL用于微众银行的核心系统数据库。本文是对整个实践历程的总结。 从过往经验来看,当时除了oracle等少数传统的商业数据库,能满足金融银行场景的数据库产品并不多。 1.TDSQL架构介绍 TDSQL是基于MySQL/Mariadb社区版本打造的一款金融分布式数据库集群方案。 微众银行通过实践证明,TDSQL作为金融的核心数据库,是完全胜任的。

    2.8K20发布于 2019-08-17
  • 来自专栏数据库安全防护

    数据库安全之金融

    金融行业正常业务范围概括起来主要有以下四大部分,分别是银行业,证券业,保险业及其他金融服务。其中银行业包括中央银行,商业银行,其他银行。证券业主要有股票、债券、期货及其他有价证券的投资交易活动。 其他金融业务是上述三种业务之外的业务,主要有金融信托、金融管理、金融租赁、财务公司、邮政储蓄、典当以及其他未列明的金融活动。 在这样的信息化背景下,金融行业紧跟潮流,在信息化设备采购上一直保持着国际先进水平,但仅保持硬件及软件系统的先进性还是不够的。 数据库作为金融行业信息系统的核心和基础,承载着越来越多的关键业务系统,整个业务流程过程中的操作、数据的变更、新增、删除都存储在数据库中,保存着客户的个人资料以及资金等各类信息。 针对网络中的威胁,金融行业也采取了很多防御措施,比如在金融信息系统最外层部署了网络防火墙,在应用层部署了IDS、IPS、WAF、堡垒机等一系列安全产品,在客户终端上也部署了相应的防病毒软件,但在数据库层面安全措施做得不够

    2.4K20发布于 2020-01-06
  • 来自专栏腾讯云数据库(TencentDB)

    腾讯TDSQL:带你认识真正的金融自主可控分布式数据库

    实际上,腾讯推出的 TDSQL(TencentDistributed SQL) 金融分布式数据库,在对内支撑微信红包业务的同时,对外也正在为中国金融行业技术自主可控分布式数据库解决方案 作为国内首家互联网银行 “2017 年微众银行将每个账户的运营成本降至平均只有 6 元人民币,仅为内地传统银行的 1/10,相比国际银行则更低,只有其成本的 2% 至 5%。” 微众银行副行长兼 CIO 马智涛说。 目前 TDSQL 已正式通过腾讯金融云对外输出金融分布式数据库产品服务,除了微众银行,腾讯分布式数据库 TDSQL 还支撑着华通银行、华夏银行、潍坊银行、内蒙金谷农商银行、北京人寿、爱心人寿等众多银行和保险公司的互联网核心生产系统 并已经为超过 500+ 的政企和金融机构提供数据库的公有云及私有云服务,客户覆盖银行、保险、证券、互联网金融、计费、第三方支付、物联网、互联网 +、政务等领域,得到了客户及行业的一致认可。 金融业务的数据库发展及展望 金融业务涉及国计民生的重点业务,一个小小的 BUG,一个操作失误,就可能影响到数以万计的百姓资产准确性。正因为这样的责任,腾讯云 TDSQL 团队始终坚守则“本心”。

    5.4K30发布于 2019-03-26
  • 来自专栏金融级分布式数据库TDSQL

    腾讯分布式数据库TDSQL金融能力的架构原理解读

    hrd7lij4yf.jpg] 第一章,产品简介以及适用场景 第二章,TDSQL架构分析及模块介绍 第三章,数据一致性保障 第四章,分布式TDSQL实践 第五章,数据同步与备份 一、TDSQL是什么:腾讯如何打造一款金融分布式数据库 我们开始把这个高可用的数据库产品化。到2012年,TDSQL的雏形就已经出来了,作为一款内部产品,开始在公司内部提供金融的数据强一致性、可靠性服务。 在金融场景,你没有办法去估量——假如错一条数据,到底这条数据是1分钱还是1个亿,所以数据强一致是我们最根本的一个特性。不允许丢,不允许错,这是对数据库起码的要求。 第二是金融高可用。 第五点是企业安全。金融数据是敏感的,一些敏感的金融数据需要在当前数据基础上再做一层更高级别的企业安全防护,比如数据库防火墙,以及透明加密,等等。 三、TDSQL金融特性之:数据强一致性保障 前面我们了解了TDSQL的整体架构和核心特性。接下来我们要重点聊一聊它最重要的特性——作为金融场景下不可或缺的数据强一致性的保障。

    8.1K43发布于 2020-03-18
  • 来自专栏科技云报道

    金融高可用!天翼云TeleDB数据库如何实现容灾双活?

    例如:金融机构对安全性要求最高,在数据库灾备建设的各项要求上非常严格,一般核心业务系统会采用热备模式,通过三地五中心的异地多活方案来保证高可用,给予业务系统多重保障;而中小型企业主要保护业务、办公、管理文档数据 一方面,天翼云借鉴国际国内灾备标准,进一步细化灾备指标,添加库读写分离、表双写双读、行双写双读等能力,让数据库灾备标准更加优化,有法可依。 这一要求也达到了金融领域分布式数据库灾难恢复的能力标准。 正是基于金融高可用能力,天翼云TeleDB从层层选拔中脱颖而出,成功实现了健康码系统主中心和双活中心的切换:当新增资源池间互联电路中断或出现双活中心整体故障时,主中心业务完全不受影响,数据库集群将自动感知到双活中心发生故障 天翼云TeleDB作为云服务“国家队”,不断加快关键核心技术自主攻关,走出了一条引领国产化数据库高速发展之路,其历经十年打磨出的天翼云TeleDB系列产品,核心技术完全自主可控,其容灾方案展现出的金融高可用标准

    4.1K10编辑于 2022-12-08
  • 来自专栏QQ大数据团队的专栏

    从“严格模式”到金融合规:TBDS信创数据库适配实战录

    本文共计6365字 预计阅读时长20分钟 在数字化转型的浪潮中,金融行业的数据库安全性和合规性要求日益严格。 为了更直观地展示TBDS如何将大数据平台的灵活性与金融的严谨性完美融合,下表总结了其针对信创数据库严格模式的核心解决方案。 数据库返回的二进制结果中,在代表数字6的字节0x06之后,多出了一个额外的空字节0x00。这导致Go驱动的解析器将结果误读为0x0600,其对应的十进制值恰好是1536。 四、TBDS金融合规适配的战略价值分析 本次适配改造项目产生了多维度、可量化的投资回报(ROI)。 5.1 树立企业大数据的新标杆 历经全球最严苛的金融监管环境之一的实战洗礼,TBDS已经证明了其作为企业大数据平台的卓越品质。

    73910编辑于 2025-11-07
  • 来自专栏MySQL修行 | 老叶茶馆

    面向金融应用的GreatSQL正式开源

    GreatSQL由万里数据库发起、主导、维护,也欢迎广大MySQL使用者、爱好者下载使用,或者提交代码、issue等。 1. 而GreatSQL已经有效解决了绝大多数较严重的问题,可以更放心地在金融应用场景使用MGR架构。 2. GreatSQL的优势及展望 在金融应用场景中,对数据的可靠性和架构的容错性要求都更高,对多数据中心甚至多活都有较高需求。为此,GreatSQL未来会在以下几方面着重发力。 2.1 增加更多金融场景需求特性 增加地理标签功能。当在多机房部署MGR时,可以保证每个机房中至少有一个节点都参与事务认证,确保该节点总有最新事务,这可用于解决多机房数据同步的问题。 其他更多企业特性展望 未来我们还计划将一部分企业特性也开放出来,包括且不仅限于国产化硬件适配、等保合规、安全加密、Oracle兼容等众多特性。 3.

    1.2K10发布于 2021-09-18
  • 来自专栏博文视点Broadview

    银行数字化转型开年布局,金融架构面临的6大挑战和应对思路

    值此之际,金融IT架构的设计显得颇为重要,本文就来分享一下金融IT架构面对的挑战和应对思路,希望对银行数字化转型的架构设计有所帮助! 在数字化时代的当下,金融需求出现了场景化、碎片化、多样化、长尾化、普惠化的新特点,百年未有的变化冲击着传统金融IT架构。新金融IT架构应该包含什么样的新能力,关键挑战是什么? 这里从多个方面进一步阐述金融架构面临的诸多挑战,并结合网商银行信息科技多年来的发展经历给出一些应对思路。 本文节选自《金融IT架构》一书,欢迎阅读此书了解更多相关内容! ▊《金融IT架构:数字银行的云原生架构解密》 网商银行技术编委会 著 架构书中的“战斗机”! 、云原生多个基础架构领域,同时介绍了技术风险、安全可信、业务架构等多方面的技术实践经验,我们希望和读者分享网商银行在金融IT技术上做的独特探索,跟大家探讨数字化时代金融IT架构的发展方向。

    88550编辑于 2022-03-03
  • 来自专栏PawSQL,在线的自动化SQL优化工具!

    金融分布式数据库如何优化?PawSQL发布OceanBase专项调优指南

    OceanBase数据库作为国产自主可控的分布式数据库,在金融、电商、政务等领域得到广泛应用,优化OceanBase数据库的查询性能变得愈发重要。 PawSQL为OceanBase数据库提供了全方位的SQL性能优化支持,助力用户充分发挥OceanBase数据库的性能潜力。 n_regionkey INTEGER NOT NULL, n_comment VARCHAR(152) ) DUPLICATE_SCOPE='cluster' -- 集群副本配置 优化规则体系升级 新增三项分布式SQL设计规范: 避免表关联字段不是分布键 分布式数据库DML应避免表关联 分布式数据库DML缺少分片字段的等值条件 新增三项分布键设计规范 分布式数据库不建议创建本地表 PawSQL支持Oceanbase数据库的慢查询巡检及数据库对象巡检。 总结 PawSQL for OceanBase数据库为您提供一站式的性能优化解决方案。

    47000编辑于 2025-02-04
  • 来自专栏PingCAP的专栏

    TiDB 金融备份及多中心容灾

    金融行业来说,数据库作为最核心的基础组件之一,要求它能够安全运行和保障数据安全,这是一个刚需。另外,数据库服务本身的高可用,是我们实现整个对外数据服务连续性的最重要的基石。 TiDB 的金融备份及容灾之道 TiDB 经常这么多年的积累和逐渐完善,在整个分布式数据库的容灾和灾备的领域,我们达到了金融生产的要求。 但光有上述方案是不不够的,PingCAP 对于自身产品的要求是非常严格的,既然是要达到金融生产的要求,除了要有对应的技术方案、对应的技术实现之外,必须为产品本身提供专业的分布式测试的体系和手段。 任何中心失效,都会由另外两个中心来立刻进行故障的转移,以及对外继续提供正常的数据库服务。 、证券等金融客户提供完善的、可靠的、放心的、金融的分布式数据库服务。

    1.6K31发布于 2020-06-17
  • 来自专栏腾讯云数据库(TencentDB)

    直播回顾 | 腾讯分布式数据库TDSQL金融能力的架构原理解读

    image.png 第一章,产品简介以及适用场景 第二章,TDSQL架构分析及模块介绍 第三章,数据一致性保障 第四章,分布式TDSQL实践 第五章,数据同步与备份 一、TDSQL是什么:腾讯如何打造一款金融分布式数据库 我们开始把这个高可用的数据库产品化。到2012年,TDSQL的雏形就已经出来了,作为一款内部产品,开始在公司内部提供金融的数据强一致性、可靠性服务。 在金融场景,你没有办法去估量——假如错一条数据,到底这条数据是1分钱还是1个亿,所以数据强一致是我们最根本的一个特性。不允许丢,不允许错,这是对数据库起码的要求。 第二是金融高可用。 第五点是企业安全。金融数据是敏感的,一些敏感的金融数据需要在当前数据基础上再做一层更高级别的企业安全防护,比如数据库防火墙,以及透明加密,等等。 四、TDSQL金融特性之:数据强一致性保障 前面我们了解了TDSQL的整体架构和核心特性。接下来我们要重点聊一聊它最重要的特性——作为金融场景下不可或缺的数据强一致性的保障。

    2.3K30发布于 2020-03-19
  • 来自专栏Python小课堂

    6个步骤教你金融数据挖掘预处理

    train_test_split( X , Y , test_size = 0.2, random_state = 0) Step 6

    83530编辑于 2021-12-31
  • 来自专栏开源部署

    CentOS 6glibc记录

    背景 测试环境有一台CentOS 6系统,需要搭建安卓编译环境,但是发现安卓SDK要求glibc最低版本为2.14,CentOS 6默认是2.12的版本,记录下glibc升级过程。 编译glibc 2.14 查看glibc系统版本库,可以使用命令: strings /lib64/libc.so.6 |grep GLIBC_ 接下来下载glibc 2.14并升级: #下载源码包 wget configure --prefix=/usr/local/glibc-2.14 make && make install 修改软连接 #先删除原来的软连接 rm -rf /lib64/libc.so.6 #建立新的软连接 ln -s /usr/local/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6 #如果系统命令不可用,执行: LD_PRELOAD=/usr 此文部分内容参考了: 分享Centos6.5升glibc过程 为xgboost搭建环境,升级glibc,gcc,和解决升级glibc之后的中文乱码问题

    1.5K20编辑于 2022-08-13
  • TDSQL:以金融高兼容与智能化运维实现数据库国产化替代

    应对核心系统数据库替代的可靠性与效率挑战 在金融、政务等关键行业,数据库国产化替代面临两大核心瓶颈:一是对Oracle、SQL Server等传统数据库的兼容性要求高,迁移成本与风险巨大;二是分布式数据库运维复杂度高 提供金融分布式数据库与智能化运维体系 腾讯云TDSQL提供分布式数据库核心引擎,重点突破异构数据库兼容与智能化运维: 高兼容性引擎:支持Oracle语法兼容度达96%(中国太平测试报告)、SQL Server 某国有大行核心系统替代实践 某国有大行在麒麟操作系统ARM平台部署TDSQL过程中,发现操作系统参数(如tcp_mem默认值过小)与sssd服务兼容性问题。 腾讯云团队联合操作系统厂商完成参数调优与bug修复,最终系统在ARM平台实现57%性能提升(对比x86默认配置),并通过15天长稳测试,支撑日均亿交易量。 内核优化:具备热点秒杀(并发写入性能提升15%)、并行查询、闪回查询等40+企业特性,覆盖金融、政务、电信等场景。

    25110编辑于 2026-05-31
  • 来自专栏数据STUDIO

    6个步骤搞定金融数据挖掘预处理

    其中数据获取可以参考金融数据准备。 ? train_test_split( X , Y , test_size = 0.2, random_state = 0) Step 6

    2.1K30发布于 2021-06-24
  • 来自专栏腾讯云数据库(TencentDB)

    深度解析金融分布式数据库一致性技术

    上述方案确保了TDSQL无任何数据异常,且具备高性能的可扩展性,解决了分布式数据库金融场景应用的最核心技术挑战,使得国产分布式数据库实现在金融核心系统场景的可用、好用,进而推动国产基础软件产业化。 在WOT全球技术创新大会2022的腾讯云数据库专场中,腾讯云数据库专家架构师汪泗龙分享了金融分布式数据库TDSQL的一致性技术及应用实践,以下为详情内容: TDSQL产品介绍 1.1 发展历程 腾讯云数据库TDSQL诞生自腾讯内部百亿账户规模的金融场景。 在经过公有云的海量数字化、大规模高并发业务场景打磨以及内核的深度自研优化后,TDSQL逐渐形成标准化的国产分布式数据库产品,包括金融分布式TDSQL、计算与存储分离的云原生数据库TDSQL-C 等产品 作为领先的国产分布式数据库,TDSQL针对新型企业信息化以及快速实现国产化的转型升级需求,具备数据强一致、金融高可用、高性能低成本、线性水平扩展、企业安全、便捷智能运维等核心特性。

    2K21编辑于 2022-09-28
领券