从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在 2021 年双 11 双 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。...“那这背后对于一个新的数据库产品类型的要求,实际上整个业界大家都是在探索阶段。” 写在最后 双 11 双 12 背后的数据库技术支持远不止于此。
我自己就是从业务自学转入数据库内核研发岗位的,根据自己的经历,简单总结了一下入门数据库相关的学习路线、学习资料、项目书籍推荐等,大家可以参考。...可以了解到数据库的基本概念,例如存储、BufferPool 管理、索引、优化器、执行器、事务、MVCC 等。...之所以推荐写存储类的小项目,主要是因为存储层的 KV 一般比较好实现,同时又能够了解到一些数据库的基本设计理念。...当然如果你对某个部分特别感兴趣的话,比如优化器之类的,也可以多去了解然后自己实践,我这里推荐存储和事务的实现,是因为相对来说比较容易上手。...---- 为了帮助你更高效的学习,我还整理了一份数据库开发的学习资料,数据库的各个方面都涉及到了,例如 SQL、优化器、执行引擎、存储等等,包含一些优质的书籍、论文、视频课程、博客等,还有一些优质的教学类项目
虽然CSV文件读写方便,但我们更希望把数据写道数据库中,方便查询和保存 数据库系统包括数据库、数据库管理系统、数据库的用户和支撑数据库管理系统运行的软硬件 ?...数据模型是现实生活中数据的抽象,用来描述数据的概念和定义,是数据库中数据的存储方式,是数据库系统的基础。...: 网状型数据库(Network Database) 关系型数据库(Relational Darabase) 树状数据库(Hierarchical Database) 面向对象数据库(Object-oriented...Database) 一、存到数据库 关系型数据库常用的5个对象 表(Table):由行和列组成 列由同类信息组成,每列为一个字段,标题为字段名 图标(Diagram):数据库表之间的关系示意图 视图...(View):一张虚拟的表,并不实际存储 可以限定用户可查看,修改的数据 触发器(Trigger):由用户定义的SQL事务命令的集合 索引(Index):根据给定的数据库表建立起来的顺序,可以快速访问数据
大家好,我是数据库小学妹我踩过的坑,你别再踩。上个月帮朋友排查社交推荐系统。核心需求很简单,找出"我关注的人关注的人"做二度人脉推荐,再加"我关注的人关注的人关注的人"做三度人脉。...二、图数据库为什么快:从概念到存储2.1索引无关性图数据库快的核心原因是索引无关性。关系型数据库做JOIN时,每次都要走B+树索引查找,时间复杂度O(logN)。...关键区别在于MySQL先展开再过滤,图数据库边遍历边过滤。2.2Neo4j底层存储结构我之前一直以为图数据库就是"把关系当一等公民"。直到我拆开Neo4j的存储文件,才发现事情没那么简单。...三、图数据库的典型应用场景社交推荐是最直接的场景。但不是唯一的。知识图谱是另一个重要方向。A是B的创始人,B投资了C,C的产品用了D技术。...关系型数据库要维护多张关系表做关联,图数据库就是几个MATCH模式组合。在数据治理场景里,图模型还能用来追踪数据血缘,理清数据来源、流转和变更的关系链。还有推荐系统的协同过滤。
期刊:arXiv, 2018年1月18日 网址: http://www.zhuanzhi.ai/document/a7587f12fdf1318cc67016caa31fc9bd 2....The Case for Automatic Database Administration using Deep Reinforcement Learning(基于深度强化学习的自动数据库管理) --...Reinforcement Learning based Recommender System using Biclustering Technique(基于强化学习的双光技术推荐系统) ---- --
一个凭据管理系统如何接管企业200+数据库密码:架构与落地实践当企业数据库规模从几个膨胀到上百个,横跨阿里云、腾讯云与本地机房,凭据管理会从"小事"变成"雷区"。...二、目标架构微服务/大数据平台/DevOps流水线│①动态申请临时凭据(应用身份鉴权)▼┌──────────────────────────────────────┐│SMS凭据管理系统││•统一加密存储...(AES-256/国密SM4)││•自动轮转(≤90天,双写过渡)││•动态临时凭据(TTL≤1h)││•全程审计(append-only日志)││•密钥托管KSP(密钥不可导出)│└─────────...三、轮转策略:平滑无感知对200+凭据全量轮转,关键在于"双写过渡",避免轮转瞬间连接失败:cm.configure_rotation(credential_id="tencent-mysql-order...轮转从低风险凭据起步,用双写过渡保平稳。业务接入统一走SDK,杜绝新增硬编码。与特权访问管理(RDM)协同,补齐"人机"双重管控。
大家好,波哥又来给大家推荐好东西啦! 欢迎大家在评论区留言评论自己想了解的工具、方向或职业等互联网相关内容,点赞和推荐多的,波哥会优先安排解答!...它可以查找有效登录凭据、提升数据库权限,并通过如 xp_cmdshell 和 OLE Automation 等方法在主机操作系统上执行命令,适合模拟真实攻击场景。...三重安全检测体系 ➢ 凭证爆破模块:支持NTLMv2认证爆破,成功率提升37% ➢ 权限提升引擎:集成xp_cmdshell/OLE双路径提权 ➢ OS命令注入:支持持久化后门部署(需DBA权限) 核心功能矩阵...功能模块技术实现适用场景凭证爆破TDS协议NTLMv2认证支持弱口令检测与访问控制验证权限提升存储过程滥用检测数据库权限配置审计命令执行xp_cmdshell/OLE自动化利用横向移动攻击路径验证信息收集数据库元数据提取资产发现与配置审计...版本演进与技术迭代 关键版本对比 版本发布时间技术突破兼容性变化v2.42022-12新增Kerberos认证支持停止支持Python 2.xv2.12020-03集成Nmap扫描结果解析最低TDS协议版本升至
本文从工程落地视角拆解凭据自动发现的完整链路:覆盖代码、配置、运行时三类扫描对象,结合正则与熵值双检模型识别凭据类型与风险等级,通过双写过渡与回滚开关把发现的明文平滑接入集中托管,并给出误报治理、灰度纳管与持续运营指标...六、凭据轮换与国密合规纳管完成之后,密钥自动轮换才有安全落地的条件。对数据库这类静态凭据,轮换策略通常是托管库生成新值、推送到数据库或中间件改密、通知依赖方重载,失败处理保留旧值多个版本以便回退。...对于数据库凭据,成熟的系统会支持 MySQL、PostgreSQL、Oracle、SQL Server、Redis,以及达梦、人大金仓等国产数据库,做到改密、分发、重载全自动化。...选择具备国密凭据能力的系统,意味着 SM4 等算法在存储与传输环节被原生支持,而非事后补丁式改造;同时全链路审计能够回答这条凭据谁在何时被读取、被哪台服务使用,满足等保与密评对特权账号管理的追溯要求。...建议建立以下度量维度:度量指标计算口径健康目标明文凭据存量全仓库扫描命中的高危中危明文数持续下降,趋近 0纳管覆盖率已纳管凭据 / 已发现凭据不低于 95%双写过渡占比处于双写未切换的凭据数短时存在,长期不超过
[K8S凭据动态注入架构]()背景:上云之后,密码更乱了这家企业把几十个微服务从虚拟机搬到了Kubernetes,本以为运维会更规范,结果凭据管理反而失控了:每个服务的数据库密码各写各的Secret,几十份分散管理...症结:K8S只管分发,不管治理复盘后团队意识到,K8SSecret解决的只是"密码怎么传给Pod",而凭据真正的生命周期——加密存储、轮转、审计、销毁——K8S压根没管。...展开代码语言:TXTAI代码解释问题本质:凭据的存储/轮转/审计散落在K8S之外,没有统一治理面。...数据库真实密码由SMS按周期(≤90天)自动更换,配合新旧双写过渡期,业务Pod全程无感知,彻底告别"改密码要重启全集群"。!...K8S擅长调度,但凭据治理需要专门的系统来兜底。把凭据的存储、轮转、审计下沉到SMS,让Pod只在运行时拿到"用完即毁"的临时凭据,才是微服务上云后凭据治理的正解。
一个被提交到代码仓库的云访问密钥(AK/SK),可以让攻击者在数分钟内拿到对象存储的读写权限;一条硬编码在容器镜像中的数据库口令,会在镜像被拉取到的任何节点上持续暴露。...凭据的暴露面不是单点的,而是随着代码、镜像、配置、日志四处扩散。 更隐蔽的是,凭据与代码存在天然的"共生关系":应用要连数据库,就必然要知道口令;要调第三方接口,就必然要持有 API 密钥。...: 创建:凭据由集中托管系统在安全环境内生成,生成即加密存储,明文不离开信任边界; 分发:通过加密通道下发,禁止以明文出现在配置中心或镜像层; 存储:静态存储采用信封加密(数据密钥加密凭据,密钥加密密钥由硬件模块保护...典型的做法是 m-of-n 审批:至少需要若干名授权人中的若干位批准,申请才生效;审批动作本身与凭据下发都记入审计。对等高敏感操作,可叠加双签机制,避免单人滥权。...Q:微服务调用频繁,凭据轮换会导致大量请求失败吗? A:不会,前提是启用双版本并存。
2.2权限模型推荐RBAC+策略引擎组合:主体:用户、用户组、角色;资源:资产、资产组、账号;动作:连接、文件上传/下载、命令执行、端口转发;条件:时间窗口、来源IP、审批状态、命令白名单/黑名单。...2.3资产与账号管理资产:IP、端口、协议、所属系统、负责人、标签;账号:资产上的登录账号,密码/密钥托管在加密存储(KMS/Vault);密码轮转:定期自动改密,改密失败告警;凭据不落盘明文,代理时临时解密...第四部分:安全与审计4.1安全设计要点最小权限:默认拒绝,按需授权,临时授权到期回收;凭据安全:加密存储、内存最小驻留、审计访问;传输安全:全链路TLS,禁用弱算法;防绕过:禁止直连资产,网络层ACL只允许堡垒机访问...第五部分:高可用与运维5.1高可用设计接入层:多实例+负载均衡,健康检查;代理层:无状态,会话状态存Redis/数据库;数据库:主从+故障切换;录像存储:对象存储多副本;跨机房:同城双活,会话粘性或状态同步...第2月:SSH代理MVPSSH服务端与客户端;凭据托管与临时解密;会话建立、双向转发、基础命令审计。第3月:审计与录像会话事件流录制;对象存储上传与回放;审计日志查询与报表。
第二是凭据硬编码与散落存储。应用配置文件里写着数据库密码,CI 流水线里挂着 API Key,运维把 VPN 配置和跳板机口令记在本地笔记。...1.2 安全目标与约束 针对密码底座,工程上要同时满足五个目标: 集中:分散的凭据收拢到一个统一的密文库,告别电子表格与配置文件。 加密:凭据静态存储必须加密,且加密密钥与凭据本身分离保管。...这样即便存储层整体被拖库,攻击者也拿不到可直接使用的凭据。...它把静态凭据(数据库账号、API Key、证书、Token、VPN 配置)、动态凭据(按角色生成的数据库子凭据)、中间件凭据(K8s Secret、CI 流水线凭据)与 SSH 密钥(含一次性口令)统一收口...密码底座管的是凭据的存储、自动更换、免暴露代填与借用-归还;特权访问管理管的是特权会话的代理、协议级录像、命令级审计与双人复核。
、重要安全事件无法追溯谁使用了硬编码凭据数据保密鉴别信息存储保密性明文存储,直接违规1.2信创环境的特殊要求在信创(国产化)环境中,还有额外的合规要求:**国密算法支持**:必须使用SM2/SM3/SM4...C:专业凭据管理系统(推荐方案)使用专业的凭据管理系统,从根源上解决硬编码问题。...**:每次获取的数据库密码可以是临时的,用过即废**自动轮换**:密码定期自动更换,无需人工干预**审计日志**:每次凭据访问都有完整记录,满足等保审计要求**国密加密**:凭据存储使用SM4算法加密,...改造前的问题:用友NCCloud配置文件中硬编码了数据库密码密码已使用超过3年未更换等保测评中发现"鉴别信息明文存储"不合规项改造方案:部署国产化凭据管理系统(安当SMS),对接达梦DM8数据库将数据库密码迁入凭据管理系统...:凭据名称:prod-mysql-primary轮换周期:90天(等保2.0推荐)提前通知:7天自动生效:是(无需应用重启,通过SDK实时获取新密码)同时配置异常告警:凭据被非预期IP访问时触发告警单个账号短时间内频繁获取同一凭据时触发告警轮换失败时通知运维团队五
与凭据管理直接相关的条款:条款要求等保2.0对应项第12条重要数据处理者必须建立**凭据管理制度**等保2.08.1.4.2第15条数据库凭据必须**定期轮转**(建议≤90天)等保2.08.1.4.3...凭据存储安全❌禁止:配置文件明文存储数据库密码❌禁止:代码中硬编码凭据✅要求:凭据必须加密存储,密钥与凭据分离8.1.4.3凭据使用控制✅要求:凭据自动轮转(建议周期≤90天)✅要求:临时凭据(动态生成...)二、某城商行实战案例2.1客户背景与核心痛点客户背景:行业:城市商业银行数据库规模:阿里云RDS(12个)+本地Oracle(3个)+腾讯云MySQL(5个)等保要求:第三级(2026年9月测评)合规...────────────────────────────────────────────┐│SMS凭据管理系统││•统一凭据存储(AES-256加密)││•自动轮转(≤90天)││•临时凭据(动态生成,...《网络数据安全风险评估办法》2026年8月20日生效,凭据管理成为合规刚需2.等保2.0第三级对凭据管理有4项具体要求(存储、轮转、审计、禁止硬编码)3.SMS凭据管理系统通过统一存储、自动轮转、全程审计
这种攻击成功的原因是大多数服务帐户密码的长度与域密码的最小值相同(通常为 10 或 12 个字符长),这意味着即使是暴力破解也不太可能花费超过密码最长密码期限(过期)。...双跳有效! 更新:此测试是使用 Windows Server 2012 完成的。...Microsoft 已对 Windows Server 2012R2 和 Windows 8.1 进行了更改,以消除将明文凭据存储在内存中的情况。...获取对虚拟 DC 存储数据的访问权限,并有权访问域凭据。你运行 VMWare 吗?VCenter 管理员是完全管理员(DA 等同于 VMWare)。...一旦攻击者拥有 NTDS.dit 文件的副本(以及用于解密数据库文件中的安全元素的某些注册表项),就可以提取 Active Directory 数据库文件中的凭据数据。
DbContext(数据库上下文):用于与数据库交互的上下文,包含了用于存储用户、角色等信息的表格。 Identity Middleware(身份中间件):用于处理HTTP请求中的身份验证和授权。...验证用户凭据: Identity中的SignInManager组件会验证提供的用户名和密码。 如果凭据有效,用户将被标记为已经通过身份验证。...这是一个基本的身份验证流程,涵盖了用户登录、凭据验证、身份标识生成、Cookie管理以及访问控制等方面。在实际应用中,可能还涉及到密码重置、双因素认证等更复杂的身份验证流程。...这可能涉及到自定义存储提供者、自定义用户和角色类、以及其他高级配置。 数据库迁移: 当使用 Entity Framework Core 作为存储提供者时,进行数据库迁移可能涉及到多个表的修改。...使用Identity需要创建DbContext、进行数据库迁移,并可通过默认实现或自定义来满足项目需求。Identity提供易于集成、可定制性强、安全性高、多种存储支持等优势。
本文不做部署维度的罗列,而是把认证中心的可用性目标拆成可量化的 RTO/RPO 指标,给出会话存储四种形态的取舍矩阵、配置与凭据数据的复制语义、虚拟地址漂移与健康检查探针的设计、非对称签名密钥的多密钥并存与轮换窗口...三、会话存储选型:状态放在进程、缓存、数据库还是令牌里 3.1 全局会话与本地会话的职责划分 会话是认证中心里最难安置的状态。...隔离栅栏(fencing):确认自己是多数派后,强制切断对端对共享资源(数据库、密钥载体)的访问,避免双写; 4....人工确认闸门:涉及密钥与凭据的写入,切换后要求人工或流程确认再放开,宁可短暂停写,也不接受双写。 4.4 缓存失效传播与不一致窗口 集中缓存与数据库之间必然存在不一致窗口。...多数实践的做法是双活读、单点写——两个中心都能处理认证请求,但涉及凭据变更、策略调整的写操作仍收敛到一处,避免冲突。 7.2 双活下的会话与"同源判定" 双活场景下会话归属要重新界定。
浏览器插件负责 Web 表单场景:在登录页检测到账号输入框后,从加密保险箱拉取凭据,在内存中完成填充与提交,全程凭据不写入页面持久存储、不落本地明文文件;桌面代理负责客户端工具:例如数据库客户端、SSH...以通用方案为例,其采用 BS(浏览器插件)+ CS(桌面代理)双架构配合 HSM 级加密保险箱,把共享账号密码集中托管在密文保险箱,代填时凭据仅在内存流动、不写入磁盘明文,将“集中托管”风险压制在可接受范围...该双架构也让浏览器表单与桌面客户端共用同一套凭据与审计口径。4.3 认证方式的多维组合代填不是“谁都能取凭据”,取凭据本身要再经过一次强身份认证。...五、凭据不落地:从内存到落盘的全程管控“密码不落地”不能只是一句口号,它必须落到具体的工程管控点上。我们可以从三个层面拆解:第一,存储层不落地。凭据入库即加密,明文只在解密瞬时存在于内存。...代填类系统是否实现了密码不落地(存储/传输/使用三层)?取用凭据是否强制了多维认证而非共享口令裸用?协议侧与代填侧审计是否归一到同一维度模型?是否建立了系统升级后的重评估机制?
本文带你用DockerCompose双容器一键上线:镜像加速拉取、编写docker-compose.yml、读懂启动日志,再跟做Web安装向导9步(含SecurityPrecaution数据库凭据踩坑)...4GB,Tiki+MariaDB双容器)CPU双核即可磁盘≥5GB(Tiki镜像约586MB+MariaDB+数据库与上传文件)端口8080(映射容器80;宝塔/Nginx占80时勿直接绑80)工作目录...图1:SecurityPrecaution页——此处只填数据库凭据,不是站点管理员账号字段正确填写常见误填Databaseusernametiki❌tikiwiki(这是库名)DatabasepasswordYourStrongPass123...图12:进入Tiki并锁定安装程序(推荐)七、首次登录与改密点击「EnterTikiandLockInstaller」后,系统要求为admin设置新密码(安装时的临时密码admin不能长期使用)。...双容器,工作目录/www/wwwroot/tikiwiki,8080端口访问MariaDBhealthcheck+命名卷持久化Web安装向导9步跟做,含SecurityPrecaution数据库凭据踩坑临时管理员
攻击者以已掌握的有效数据库凭据直接登录公网可达的Oracle监听端口(非爆破、未经过任何应用系统),利用数据库默认授予PUBLIC的DBMS_JAVA在库内JVM执行系统命令,取得oracle系统权限;...python3、容器主机名e41b56;该IP在此前4个月1.9GB监听日志中从未出现D-216:381分41秒后改用JDBCThinClient——手工验证结束,转为工具化操作D-119:47第一轮服务名枚举:12...0→632条/日)服务名枚举单源5分钟内TNS-12514超过阈值(如10次)两轮枚举(12个候选+口令错位串)4.2数据库层(DAM/审计)规则检测逻辑本案命中点高危包调用监控★v$sqlarea实时巡检...六、溯源与反制6.1攻击者画像l双操作机:VPS-1(容器环境、python3客户端、累计连接核心库A达1,399次)与VPS-2(sqlplus交互会话,每次约17KB上行13KB下行4.1s,真实人工敲击特征...在此边界内,仍有大空间:l欺骗防御(Honeypot):在数据库区部署仿真1521蜜库,无任何业务指向,一旦有连接即高危告警;投放蜜凭据(honeytoken)——一批口令=账号名的假账号与内嵌假凭据的蜜