为了下次能快速上手,避免重复犯错,我将python使用过程中的一些问题在这篇博文中记录小结一下,主要内容涉及到python操作mysql数据库,python发送http请求,解析txt文本,解析JSON...二、基础数据类型和语法 1、普通变量定义 python 作为脚本型语言,对变量的定义很宽松,不用为变量特定申明其类型,类似于jsp页面中的变量定义,直接是 变量名=... ...判断NoneType类型的数据: if st is None: print("st is none") NoneType类型数据不能用len(st)==0 或 st=='' 来判断。...2、连接mysql数据库 需要指定数据库服务器地址ip、数据库用户名和秘密、需访问的数据库名以及默认字符编码。...代码示例: 这次写的的代码如下: 一、读取txt文件 #!
前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入到数据库中,那么该怎么导入才能保证高效并且稳定呢?...mysql插入效率 首先应该知道的就是mysql的插入效率跟下面几个点有关 1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样 2:索引,索引也会导致插入效率变慢...3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率 4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的 5:导入方法,单线程多线程等 6:mysql配置项,各种缓存区大小配置...` bigint(20) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; 2者都通过 Navicat txt
文件,然后存储到mysql,正好前两天帮读者写了一个 excel to sqlserver的软件,另外最后 小是 说了目前java版本的两个问题: 只能读取string类型数据(这个没太理解,可能是读取文件格式或者文件字段类型...%(t2-t1)) 最后我们写一个汇总函数即可,就是在这里将上面的逻辑串联起来: # 文本文件存储到mysql def txt_to_sql(filepath, user='root', password...3.2 使用方法 下载本项目代码:https://github.com/XksA-me/txt-to-mysql 解压后打开文件:python-Jonny,本文件内包含了所有python代码+测试数据+...环境+windows bat运行文件,其他文件为@ 用Java写的txt to mysql方法和相关配置文件, 原项目地址:https://github.com/schatz0-0/txt-to-mysql...四、可以拓展 目前只支持txt,而且数据格式为指定类型(空格或者制表符\t分隔的),有时间,大家有需要,可以拓展支持多种格式文件,加一个文件后缀识别即可 界面简陋,上午看到up@是我_是我_就是我发的视频
/gps1.txt" into table loadTable fields terminated by ',' lines terminated by "\n" (carflag, touchevent.../gps1.txt', 'r') as fp: for line in fp: line = line.split(',')...if count and count%70000==0: # 执行多行插入,executemany(sql语句,数据(需一个元组类型...("提交了:" + str(count) + "条数据") if data_list: # 执行多行插入,executemany(sql语句,数据(需一个元组类型...3.分析两种插入方式 两者异同比较 相同点 不同点 两者都是通过读取本地txt文件,按照相同的分隔来读取进行插入。 程序插入法实质为insert语句间接执行。
MySQL支持的浮点数类型,分别是 FLOAT、DOUBLE、REAL。 FLOAT 表示单精度浮点数; DOUBLE 表示双精度浮点数; [在这里插入图片描述] REAL默认就是 DOUBLE。...数据精度说明 对于浮点类型,在MySQL中单精度值使用4个字节,双精度值使用8个字节。...精度误差说明 浮点数类型有个缺陷,就是不精准。下面我来重点解释一下为什么 MySQL 的浮点数不够精准。...问题还是出在 MySQL 对浮点类型数据的存储方式上。 MySQL 用 4 个字节存储 FLOAT 类型数据,用 8 个字节来存储 DOUBLE 类型数据。...那么,MySQL 有没有精准的数据类型呢?当然有,这就是定点数类型:DECIMAL。
SET类型 SET表示一个字符串对象,可以包含0个或多个成员,但成员个数的上限为64。设置字段值时,可以取 取值范围内的 0 个或多个值。...注意:SET类型在选取成员时,可以一次选择多个成员,这一点与ENUM类型不同。...,MySQL会自动删除重复的成员#插入重复的SET类型成员时,MySQL会自动删除重复的成员 INSERT INTO test_set (s) VALUES ('A,B,C,A');[在这里插入图片描述...] 向SET类型的字段插入SET成员中不存在的值时,MySQL会抛出错误。...#向SET类型的字段插入SET成员中不存在的值时,MySQL会抛出错误。
1.索引类型 1.1 普通索引 NORMAL: 是最基本的索引,它没有任何限制。 1.2 唯一索引 SPATIAL: 与前面的普通索引类似,不同的就是:索引列的值必须唯一,但允许有空值。
定点数类型 1. 类型介绍 MySQL中的定点数类型只有 DECIMAL 一种类型。...定点数在MySQL内部是以字符串的形式进行存储,这就决定了它一定是精准的。...当数据的精度超出了定点数类型的精度范围时,则MySQL同样会进行四舍五入处理。 2....5,2) ALTER TABLE test_double2 MODIFY f1 DECIMAL(5,2); DESC test_double2; [在这里插入图片描述] 然后,再一次运行求和语句: mysql...FROM test_double2; +---------+ | SUM(f1) | +---------+ | 1.10 | +---------+ 1 row in set (0.00 sec) mysql
转载自http://www.cnblogs.com/luyucheng/p/6289714.html 一、简介 MySQL目前主要有以下几种索引类型: 1.普通索引 2.唯一索引 3.主键索引...为需要创建索引的字段列,该列必须从数据表中该定义的多个列中选择 4.index_name指定索引的名称,为可选参数,如果不指定,默认col_name为索引值 5.length为可选参数,表示索引的长度,只有字符串类型的字段才能指定索引长度...6.asc或desc指定升序或降序的索引值存储 三、索引类型 1.普通索引 是最基本的索引,它没有任何限制。
ENUM类型 ENUM类型也叫作枚举类型,ENUM类型的取值范围需要在定义字段时进行指定。设置字段值时,ENUM类型只允许从成员中选取单个值,不能一次选取多个值。...其所需要的存储空间由定义ENUM类型时指定的成员个数决定。...文本字符串类型 长度 长度范围 占用的存储空间 ENUM L 1 <= L <= 65535 1或2个字节 当ENUM类型包含1~255个成员时,需要1...个字节的存储空间; 当ENUM类型包含256~65535个成员时,需要2个字节的存储空间。...ENUM类型的成员个数的上限为65535个。
本文链接:https://blog.csdn.net/weixin_38004638/article/details/96135519 一、数字类型 类型 范围 说明 Char(...(1,0) habby set(‘玩电玩’,'睡觉’,'看电影’,'听音乐’) Set 集合最大数目为64 辨別Null与Not Null :Null为允许储存空值(Null) 二、数值 类型...比如定义一个age字段,其数据类型为int(4),那用select查询出来的结果是“0002”。...三、日期时间 类型 范围 说明 Date 日期(yyyy-mm-dd) Time 时间(hh:mm:ss) DateTime 日期与时间組合(yyyy-mm-dd hh:mm:
整数类型 1. 类型介绍 整数类型一共有 5 种,包括 TINYINT、SMALLINT、MEDIUMINT、INT(INTEGER)和 BIGINT。...(-12), (-128), (127) SELECT * FROM test_int1; [在这里插入图片描述] 当超出给定的范围时,就会出错 [在这里插入图片描述] [在这里插入图片描述] 在mysql...答案:不会对插入的数据有任何影响,还是按照类型的实际宽度进行保存,即显示宽度与类型可以存储的值范围无关。从MySQL 8.0.17开始,整数数据类型不推荐使用显示宽度属性。...中显式如下,MySQL8中不再显式范围) mysql> desc test_int11; +-------+--------------+------+-----+---------+-------+...所以,如果需要在MySQL数据库中保存非负整数值时,可以将整数类型设置为无符号类型。 int类型默认显示宽度为int(11),无符号int类型默认显示宽度为int(10)。
1.varchar类型 (1)varchar (N):中的N指的是字符的长度,即:该字段最多能存储多少个字符(characters),不是字节数。...(3)虽然InnoDB内部支持 varchar 65535 字节的行大小,但是MySQL本身对所有列的合并大小施加了 65535 字节的行大小限制。...详情见例子 2.varchar 长度的编编限制: 字符类型若为gbk,每个字符最多占2个字节,最大长度不能超过32766; 字符类型若为utf8,每个字符最多占3个字节,最大长度不能超过21845。...字符类型若为utf8mb4,每个字符最多占4个字节,最大长度不能超过16283。 若定义的时候超过上述限制,则varchar字段会被强行转为text类型,并产生warning。...mysql> alter table t4 modify column c3 varchar(21813); ERROR 1118 (42000): Row size too large.
JSON 类型 JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。...在MySQL 5.7中,就已经支持JSON数据类型。...在MySQL 8.x版本中,JSON类型提供了可以进行自动验证的JSON文档和优化的存储结构,使得在MySQL中存储和读取JSON类型的数据更加方便和高效。...创建数据表,表中包含一个JSON类型的字段 js 。 CREATE TABLE test_json( js json ); 向表中插入JSON数据。...name":"xdr", "age":24, "address":{"province":"guangdong", "city":"shenzhen"}}'); [在这里插入图片描述] 当需要检索JSON类型的字段中数据的某个具体值时
在MySQL中共有4中日志:错误日志、二进制日志、查询日志和慢查询日志 一、错误日志 错误日志名 host_name.err,并默认在参数DATADIR指定的目录中写入日志文件。...(B) PURGE MASTER LOGS TO 'mysql-bin.******' 命令,删除’*******'之前的日志。
空间类型 MySQL 空间类型扩展支持地理特征的生成、存储和分析。...MySQL中使用Geometry(几何)来表示所有地理特征。Geometry指一个点或点的集合,代表世界上任何具有位置的事物。...MySQL的空间数据类型(Spatial Data Type)对应于OpenGIS类,包括单值类型:GEOMETRY、POINT、LINESTRING、POLYGON以及集合类型:MULTIPOINT、...Geometry是所有空间集合类型的基类,其他类型如POINT、LINESTRING、POLYGON都是Geometry的子类。 Point,顾名思义就是点,有一个坐标值。...例如POINT(121.213342 31.234532),POINT(30 10),坐标值支持DECIMAL类型,经度(longitude)在前,维度(latitude)在后,用空格分隔。
不同数据库系统对约束的支持存在细微差异,但核心类型和实现原理基本一致。 二、六大核心约束类型详解 1. NOT NULL:非空约束 定义:限制列不能存储NULL值,强制该字段必须有具体内容。...,应优先为关键业务字段添加 对于可选信息(如用户的昵称、备注)不应设置非空约束 MySQL中,字符串类型的非空列如果未指定默认值,插入时必须显式提供值 2....5.7及之前版本:会解析CHECK约束但不生效(忽略检查) MySQL 8.0及以上版本:完全支持CHECK约束 PostgreSQL、Oracle、SQL Server:完全支持CHECK约束 使用建议...: 由于MySQL的版本兼容性问题,重要的检查逻辑建议同时在应用层实现 检查条件应保持简单,复杂逻辑更适合在业务代码中处理 对于格式验证(如邮箱格式、手机号格式),建议使用正则表达式配合CHECK约束(...版本兼容性处理 MySQL 5.7中用枚举(ENUM)替代CHECK约束: CREATE TABLE student ( gender ENUM('男', '女') NOT NULL -- 等效于
分保存的数据,在东9区看到的是09:00:00,datetime与时区无关 6、timestamp 4个字节存储(实际上就是int),datetime 8个字节 7、如果timestamp的值超出范围,mysql...不会报错 8、如果是自动更新模式,手动修改数据导致timestamp字段更新 9、同时有两个timestamp字段默认值为current_timestamp会报错 参考资料: MySQL中 TIMESTAMP...类型 和 DATETIME类型 的区别 http://www.studyofnet.com/news/1123.html
StreamReader sr = new StreamReader("C:\\Users\\Administrator\\Desktop\\blogbbs\\dd.txt",Encoding.Default...} } File.AppendAllText("C:\\Users\\Administrator\\Desktop\\blogbbs\\123.txt
一、数据类型 各类型的数值范围: 在MySQL中,整型可以指定是有符号的和无符号的,默认是有符号的。 可以通过UNSIGNED来说明某个字段是无符号的。...对于int类型可能存放不下的数据,尽量不使用unsigned,unsigned int 同样可能存放不下,与其如此,还不如设计时,将int类型提升为bigint类型。...1.1、bit类型 bit[(M)] : 位字段类型。M表示每个值的位数,范围从1到64。如果M被忽略,默认为1。 bit字段在显示时,是按照ASCII码对应的值显示。...mysql> insert into tt4 values ( 65 , 65 ); mysql> select * from tt4; +------+------+...在MySQL中,字符就真的是字符,字母或汉字都认为是字符。 1.5、varchar varchar(L): 可变长度字符串,L表示字符长度,最大长度65535个字节。