点击标题下「蓝色微信名」可快速关注 技术社群的这篇文章《MySQL 一个会话占用几十 GB,你敢信?》给我们讲解了导致会话内存增加的一个场景。...return 1 ; end // delimiter ; 2.1.2 调用方法 select test_db.fun_test("1") ; 2.1.3 查看调用函数的 processlist_id MySQL...------------------------------------+ 2 rows in set (0.00 sec) 2.1.4 根据 processlit_id 找到 thread_id: MySQL...---------+---------------------------+ 1 row in set (0.00 sec) 2.1.5 根据 thread_id 查看会话占用的内存(多观察几次) MySQL...---------------+-------------------+-------------------+-----------------+ 1 row in set (0.03 sec) MySQL
核心军规 尽量不在数据库做运算 控制单表数据量 纯INT不超过10M条,含Char不超过5M条 保持表身段苗条 平衡范式和冗余 拒绝大SQL,复杂事务,大批量任务 字段类军规 用好数值字段,尽量简化字段位数...把字符转化为数字 优先使用Enum或Set 避免使用Null字段 少用并拆封Text/Blob 不在数据库中存图片 索引类军规 谨慎合理添加索引 字符字段必须建立前缀索引?...数据库的字符集,要用 utf8mb4,而不是utf8。...因为MySQL的utf8不是真正的UTF-8,只支持最多三个字节的字符。真正的UTF-8可能会出现四个字节的字符。...MySQL 从来没有修复这个 Bug,而是使用另外的解决方法:真正的UTF-8字符集用 utf8mb4的名字提供。
mysql的varchar到底能存多少个字符 结论 (65535字节-其他列所占用的子节-varchar列长度-null标识占用字节数)/3,向下取整....注意 4.0版本及以下,MySQL中varchar长度单位是字节,如varchar(20),指的是20字节; 5.0版本及以上,MySQL中varchar长度单位是字符。...测试环境 mysql5.7,存储引擎innodb,utf8字符集 GBK编码: 一个英文字符占一个字节,中文2字节,单字符最大可占用2个字节。
一、一台服务器最大能打开的文件数 1、限制参数 我们知道在Linux中一切皆文件,那么一台服务器最大能打开多少个文件呢?...那么一台服务器最大能建立多少条连接呢?...当他向MySQL请求数据的时候,他又变成了客户端。...2、一台服务端机器最大究竟能支持多少条连接 因为这里要考虑的是最大数,因此先不考虑连接上的数据收发和处理,仅考虑ESTABLISH状态的空连接。那么一台服务端机器上最大可以支持多少条TCP连接?...这样会消耗掉大约不到20GB内存用来保存这500w条连接对应的socket。还剩下100GB以上的内存来应对接收、发送缓冲区等其他的开销足够了。所以,一亿用户,仅仅需要20台服务器就差不多够用了!
前言 程序员平时和mysql打交道一定不少,可以说每天都有接触到,但是mysql一张表到底能存多少数据呢?计算根据是什么呢?...同样的在MySQL中为了提高吞吐率,数据也是分页的,不过MySQL的数据页大小是16KB。(确切的说是InnoDB数据页大小16KB)。详细学习可以参考官网 我们可以用如下命令查询到。...mysql> SHOW GLOBAL STATUS LIKE 'innodb_page_size'; +------------------+-------+ | Variable_name |...了解了节点的概念和每个节点的大小为16kb之后,咱们计算mysql能存储多少数据就容易很多了 具体计算方法 根节点计算 首先咱们只看根节点 比如我们设置的数据类型是bigint,大小为8b ?...16 = 21902400 (千万级条) 其实计算结果与我们平时的工作经验也是相符的,一般mysql一张表的数据超过了千万也是得进行分表操作了。
想进大厂,Mysql 不会那可不行,来接受 Mysql 面试挑战吧,看看你能坚持到哪里? 1. 能说下myisam 和 innodb的区别吗?...非聚簇索引(二级索引)保存的是主键id值,这一点和myisam保存的是数据地址是不同的。 ? 最终,我们一张图看看InnoDB和Myisam聚簇和非聚簇索引的区别 ? 3....一致性指的是数据库总是从一个一致性的状态转换到另外一个一致性的状态。比如A转账给B100块钱,假设中间sql执行过程中系统崩溃A也不会损失100块,因为事务没有提交,修改也就不会保存到数据库。...持久性指的是一旦事务提交,所做的修改就会永久保存到数据库中。 而隔离性有4个隔离级别,分别是: read uncommit 读未提交,可能会读到其他事务未提交的数据,也叫做脏读。...小红开启事务current_version=7插入一条数据,结果是这样: id Name create_version delete_version 1 张三 1 2 李四 2 3 王五 7 小明执行插入名字
mysql 数据安装的时候默认的数据库文件保存路径是在C:\ProgramData\MySQL\MySQL Server 5.5\data文件下的,但是我们安装数据库在服务器上的时候往往是不要在...C盘中,所有我们就想要把数据保存的文件给更改了,那我们就来看看这样该怎么样来操作呢? ...首先,我们必须把我们的Mysql 数据的服务给停掉,在cmd 中输入net stop mysql (停掉mysql 数据库) ,但是我们往往可能碰到的情况是你所用的用户是不具备这种权限的,那么我们只能够管理里面把...mysql 数据库给停了,然后才是真正的操作: 1、新建文件夹D:\mysql\data(这是你自己希望的保存路径); 2、找到你的数据库数据文件默认的保存路径(C:\ProgramData\MySQL...\MySQL Server 5.5\data),复制里面所有的数据到希望的目录下(D:\mysql\data); 3、找到mysql的安装目录(C:\Program Files (x86)\MySQL
TUTORIAL TO SHARE MySQL在5.5.3版本之后增加了这个utf8mb4的编码,mb4就是most bytes 4的意思,专门用来兼容四字节的unicode。...,这篇文章可能解决不了您的问题』; 如若结果中的 value 字段与上图有出入,请继续阅读本文; 修改数据库编码: ALTER DATABASE database CHARACTER SET = utf8mb4...unicode_ci;; 编辑 my.ini 文件,添加或修改如下内容: Thinkphp5开发APP接口案例 SHARE THE BODY 最近使用Thinkphp5 写APP接口,效果:用户留言评论的时候可以保存...Emoji 表情及特殊符号因为app是多应用开发,所以只好从数据库下手配置。...3.在APP留言效果,Emoji 表情及特殊符号就可以保存了。
来自:www.slideshare.net/mysqlops/mysql-9838563 来自一线的实战经验,主要针对DBA和后端开发人员,总是在灾难发生后,才想起容灾的重要性;总是在吃过亏后,才记得曾经有人提醒过...核心军规 尽量不在数据库做运算 控制单表数据量 纯INT不超过10M条,含Char不超过5M条 保持表身段苗条 平衡范式和冗余 拒绝大SQL,复杂事务,大批量任务 字段类军规 用好数值字段,尽量简化字段位数...把字符转化为数字 优先使用Enum或Set 避免使用Null字段 少用并拆封Text/Blob 不在数据库中存图片 索引类军规 谨慎合理添加索引 字符字段必须建立前缀索引?
前言 我们在进行Python编程的时候,时常要将一些数据保存起来,其中最方便的莫过于保存在文本文件了。但是如果保存的文件太大,用文本文件就不太现实了,毕竟打开都是个问题,这个时候我们需要用到数据库。...提到数据库,相信大部分人都不会陌生,今天我们要学的就是数据库中小编自认为最棒的Mysql数据库了。 一、下载导入模块 为了让Python与Mysql 交互,这里我们需要用到Pymsql模块才行。...,可以看下连接成功的打印信息: 可以看到我们打印了Mysql的版本和Host信息。...,Python也能轻松帮我们搞定。...: db.commit() finally: cur.close() db.close() 六、总结 在我们进行网络爬虫的时候,需要保存大量数据,这个时候数据库就派上用场了,可以更方便而且更快捷保存数据
MySQL数据库开发的 36 条军规 标签:数据库 核心军规(5个) 尽量不在数据库做运算。 控制单表数量:行不超过500W条,超出分表;列不超过50个,超过拆表。...2147483648,2147483647][0,4,294,967,295]BIGINT8byte[-9223372036854775808,9223372036854775807][0,18446744073709551615] 能转数字的尽量转数字...NULL(NULL字段很难查询优化、NULL字段的索引需要额外空间、NULL字段的复合索引无效) 尽量少用text/blob类型(尽量使用varchar代替text字段),需要的时候请拆表 不在数据库存图片...pinyin`(8)), 不在列上做运算 Innodb主键推荐使用自增列(主键建立聚簇索引,主键不应该被修改,字符串不应该做主键) 不用外键(由程序保证约束) SQL类军规(16个) SQL语句尽可能简单(一条SQL...只能在一个cpu运算,大语句拆小语句,减少锁时间,一条大SQL可以堵死整个库) 简单的事务(事务时间尽可能短,坏的代码案例:上传图片事务) 避免使用trigger/func(触发器、函数不用,由客户端程序取而代之
在设计数据库的时候会考虑给字段设置什么类型,设置多少长度合适,之前一直认为varchar(2)可以存储一个汉字,或者一个数字,通过今天无意间的查询,发现了这个错误,来记下来 其实varchar类型可以存储多少个汉字...,多少个数字,是要具体看我们的mysql版本。...通过查看,我使用的是5.0版本以上 的数据库,所以说一个varchar长度对应一个汉字或者一个数字 以为的版本为例做了如下测试: 新建表: CREATE TABLE varchar_test ( `id...VALUES (3, '123456789012345678901'); [Err] 1406 - Data too long for column'string' at row 1 通过测试,我们也能得出结论...: 5.0版本以上的MySQL的varchar(n)可以存储的中文字符数和英文字符数是一致的,都是n个字符
一致性(Consistency) 依赖于持久性、原子性和隔离性,确保事务执行前后数据库状态符合约束规则。...MySQL事务隔离级别了解过吗?...介绍一下MySQL各种锁的及作用 设计多种锁机制,保障并发控制和数据一致性,避免脏读、不可重复读、幻读等。...全局锁 用于数据库级操作,如备份时阻止写操作,保证数据一致性,影响范围大,需谨慎使用。 表级锁 MyISAM仅支持表级锁,粒度大并发写性能差。...MySQL三大日志了解多少? 服务器层面三大日志 错误日志(Error Log):记录MySQL启动、关闭和运行时错误。 慢查询日志(Slow Query Log):记录慢SQL。
(使用127.0.0.1地址)try: db_connection_str = 'mysql+pymysql://root:123456@127.0.0.1:3306/data' db_connection...# 将数据保存到数据库try: data.to_sql('tttl_data', con=db_connection, if_exists='replace', index=False) print...("数据已成功保存到数据库 data 中的 tttl_data 表。")...except Exception as e: print(f"保存数据时发生错误: {e}") import traceback traceback.print_exc()将json写入数据库...item.values()) cursor.execute(insert_query, values) connection.commit() print('数据已成功保存到数据库
TPC-H测试标准,以8张表,22个查询作为基础,在一定时间内(通常是1小时),通过7个并发查询,衡量数据库的每秒处理事务数,作为数据库性能度量标准。...有了 HammerDB,我们唯一要做的事情,就是指定一个可用的测试数据库就可以。 image 这里需要说明的是 Scale Factor,也就是扩展因子。说人话,就是数据库大小配置。...当同时有10个用户访问数据库时,假设他们同时执行1条 SELECT 语句。此时,并发数是10,Throughput 也是10,但你能不能说数据库并发度不够呢?不能。...因为此时这并发的10个用户,都对速度感到满意,说明完全可以再容纳更多的人来数据库查询。 于是,增加了100个人来,还是运行 一条SELECT语句。...那么是不是 Throughput 为6,就是我的数据库极限了呢,我怀疑,可以更高。
写在前面 上一篇(https://www.tech1024.cn/original/2951.html )说了如何创建项目,并爬去网站内容,下面我们说一下如何保存爬去到的数据 开始爬取 创建Spider...Item数据容器 在scrapyDemo目录下创建ImoocCourseItem.py,这个类就是我们用了保存数据的容器,我们定义了标题、图片、简介、地址。...这里面我们用到了数据库的操作DBHelper类,那么我们在scrapyDemo/db目录下创建dbhelper.py 模块,记得再创建一个init.py哦。...这里用到了pymysql和adbapi,adbapi是python的数据库连接池,可以pip安装: 这里面还用到了getprojectsettings方法,意思是从配置文件settings.py里边获取数据库配置信息...,我们在scrapyDemo目录下的settings.py文件最后加入数据库信息 建表语句如下: 大功告成 我们在命令行运行项目 如果没有报错,我们的数据库是不是有数据了呢
核心军规 1、不在数据库做运算 cpu计算务必移至业务层 2、控制单表数据量 int型不超过1000w,含char则不超过500w; 合理分表; 限制单库表数量在300以内; 3、控制列数量...good case: 'age' int not null default 0 10、少用text/blob varchar的性能会比text高很多; 实在避免不了blob,请拆表; 11、不在数据库里存图片...只能在一个cpu运算; 大语句拆小语句,减少锁时间; 一条大sql可以堵死整个库; 18、简单的事务 事务时间尽可能短; 19、避免使用trig/func 触发器、函数不用; 客户端程序取而代之;...where phone=’159′ or phone=’136′; => select id from t where phone in (’159′, ’136′); 22、OR改写为UNION mysql...少用连接join 28、少用group by 分组; 自动排序; 29、请使用同类型比较 30、使用load data导数据 load data比insert快约20倍; 31、打散批量更新 32、新能分析工具
前言 程序员平时和mysql打交道一定不少,可以说每天都有接触到,但是mysql一张表到底能存多少数据呢?计算根据是什么呢?...接下来咱们逐一探讨,除了小编总结的面试题以外,小编还整理了一份MySQL的实战学习笔记,分享给正在阅读的小伙伴们。...同样的在MySQL中为了提高吞吐率,数据也是分页的,不过MySQL的数据页大小是16KB。(确切的说是InnoDB数据页大小16KB)。详细学习可以参考官网 我们可以用如下命令查询到。...了解了节点的概念和每个节点的大小为16kb之后,咱们计算mysql能存储多少数据就容易很多了 具体计算方法 根节点计算 首先咱们只看根节点 比如我们设置的数据类型是bigint,大小为8b [1612869840279...16 = 21902400 (千万级条) 其实计算结果与我们平时的工作经验也是相符的,一般mysql一张表的数据超过了千万也是得进行分表操作了。
一、问题背景事情的起点通常很小:某个域名解析异常,或者一条钓鱼邮件声称来自你的域名服务商。你打开终端敲下whois,想确认注册商、到期时间和NS是不是被改过。...三、方案设计:先搞清数据从哪来很多人把Whois当成一个"网站",其实它是协议+分层数据源:1.注册局(Registry):管理某个TLD的权威数据库,例如.com的注册局。...组合研判:Whois/RDAP数据与DNS、证书透明度日志(CT)结合,能更完整地还原一个域名的生命周期与归属关系。...九、总结Whois不是一个人的信息,而是一条由注册局到注册商的链式应答路径。...隐私保护能收敛公开面的个人信息,但它不会隐藏域名状态、NS和到期时间,也不会免除实名与备案义务。真正需要提前想清楚的是权衡:保护越强,纠纷举证和通知触达的成本越高。
批量调度到底能省多少?——一条跨手机、服务器实测出的"收益-粒度"律先说结论:批量合并调度的净收益不是自由的,它被任务粒度钉死。...一、起因:一句流传很广的"批量能省20-50%"做后台和端侧的人多少都听过类似说法:把碎任务攒起来批处理,能省20-50%的资源。这句口号的问题在于它没说条件。...两条完全独立的实验路线指向同一条曲线,这比曲线本身重要。实验三:真机。一台华为鸿蒙真机,自研App测电池毛功率(电流×电压积分),同样任务150ms粒度做A/B交替。...于是整个图景变成两个正交机制:机制一,批量合并摊薄:固定开销(fork、调度、上下文切换)被摊薄,任务越碎收益越大,需要"能控制执行方式"的域。...下次有人在评审会上说"攒一批能省一半",你可以先反问一句:你的任务粒度是多少毫秒?作者注:数据与脚本可自由复跑验证;若你的场景实测点偏离曲线超过5个百分点,欢迎在评论区贴数据,比徒手拟合有趣。