环境 : python3.6 / win10 / vs2017 / sqlserver2017 一、需要安装的包pymssql pip install pymssql 二、pymssql模块的介绍 pymssql...所以我更加推荐使用_mssql,而不是网上案列里比较多的pymssql 三、对_mssql模块的封装 1、简单的执行 class C_SQLServer(object): def __init_...database=self.database,charset='utf8') row=conn.execute_row(SQLStr) return row #执行返回单值的操作...conn.close() return titleDict 四、对于大批量Insert的操作 pymssql的模块提供了executemany来执行大批量的导入。...测经过测试,同样插入10W的数据,_mssql模块写拼接比pymssql的executemany快了近3倍多。 ?
dsn:连接字符串,主要用于与之前版本的pymssql兼容user:用户名password:密码trusted:布尔值,指定是否使用windows身份认证登陆host :主机名database:数据库timeout...:查询超时login_timeout:登陆超时charset:数据库的字符集as_dict:布尔值,指定返回值是字典还是元组max_conn:最大连接数 2....Method autocommit(status)布尔值,指示是否自动提交事务,默认的状态是关闭的,如果打开,你必须调用commit()方法来提交事务。...connection返回创建游标的连接对象lastrowid返回插入的最后一行rownumber返回当前数据集中的游标(通过索引) 3....游标方法 close() 关闭游标 execute(operation) 执行操作 execute(operation, params) 执行操作,可以提供参数进行相应操作 executemany
dsn:连接字符串,主要用于与之前版本的pymssql兼容 user:用户名 password:密码 trusted:布尔值,指定是否使用windows身份认证登陆 host :主机名 database...:数据库 timeout:查询超时 login_timeout:登陆超时 charset:数据库的字符集 as_dict:布尔值,指定返回值是字典还是元组 max_conn:最大连接数 2....Method autocommit(status) 布尔值,指示是否自动提交事务,默认的状态是关闭的,如果打开,你必须调用commit()方法来提交事务。...connection 返回创建游标的连接对象 lastrowid 返回插入的最后一行 rownumbe 返回当前数据集中的游标(通过索引) 3....游标方法 close() 关闭游标 execute(operation) 执行操作 execute(operation, params) 执行操作,可以提供参数进行相应操作 executemany(operation
访问数据库(SQLLite / MySQL / SQLAlchemy) pymssql examples :http://pymssql.org/en/stable/pymssql_examples.html...下载 FreeTDS,地址:www.freetds.org 下载后解压: tar -zxvf XXX.tar.gz 然后执行 ....cursor_1.fetchall() ) # 显示出的是cursor_2游标查询出来的结果 print( "John Doe" ) print( cursor_2.fetchall() ) # 不会有任何结果...创建多个连接来保证多个查询可以并行执行在不同连接的游标上 2....sql, 批量插入多条数据 :param sql: 参数用 %s 代替 : insert into table_name(col1, col2, col3) values(%s, %s
最常见的是能够获取给定 IDENTITY 列的“最后插入值”,这是 SQLAlchemy 在许多情况下隐式执行的过程,最重要的是在 ORM 中。...FreeTDS 仍然适用于非 ODBC 驱动程序,例如 pymssql,在那里它的工作非常出色。...FreeTDS 对于非 ODBC 驱动程序(如 pymssql)仍然很重要,在那里它运行得非常好。...FreeTDS 仍然适用于非 ODBC 驱动程序,如 pymssql,在这里它运行得非常好。...FreeTDS 仍然适用于非 ODBC 驱动程序,如 pymssql,在这里它运行得非常好。
2 orange 154 (1 rows affected) 1> QUIT 验证一下插入结果并退出...执行一个查询,并把结果返回出来。 最新版的 pymssql 创建一个空目录,存放上 index.py 文件。...将命令会话的当前路径切换到 index.py 所在的目录,然后执行 $ docker run --rm --name mssql-builder -t -d -v $(pwd):/code --entrypoint...RequestId: d66496e9-4056-492b-98d9-5bf51e448174 Billed Duration: 144 ms Memory Size: 19 执行上面命令可以顺利返回结果...本文也提供了一种基于 fc-docker 的配置和调试方法,不同 fcli 的 sbox,fc-docker 可以写成脚本反复执行,并且也可以用于本地模拟执行,对于 CI 场景非常有帮助。
一、分析问题背景 在使用pymssql库与SQL Server数据库进行交互时,有时会遇到各种错误。其中,pymssql...._pymssql.OperationalError: (156, b"Incorrect syntax near the keyword ‘distinct’… 是一个较为常见的错误,它表明在执行SQL...DISTINCT通常用于SELECT语句中,以返回唯一不同的值。如果DISTINCT被错误地放置在了其他位置,或者在DISTINCT之后没有跟随需要筛选的列名,就可能触发这个错误。...在这个例子中,DISTINCT关键字后面没有跟随任何列名,这是不合法的。...通过遵循上述建议,开发者可以减少在编写和执行SQL查询时遇到的错误,并确保应用程序的稳定性和安全性。
Python编程中可以使用MySQLdb进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接MySQL数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对mysql的性能会产生较大的影响...: http://code.google.com/p/pymssql/downloads/list (pymssql 是Python语言用来连接微软 SQL SERVER 数据库的类库) 1.写一个创建连接池...#sqlserver数据库适配器 from pymssql import OperationalError, InternalError, ProgrammingError HOST...'user':"%s"%USER, 'password':"%s"%PASSWORK } """ mincached : 启动时开启的闲置连接数量(缺省值...(缺省值 0 代表所有连接都是专用的)如果达到了最大数量,被请求为共享的连接将会被共享使用 maxconnecyions : 创建连接池的最大数量(缺省值 0 代表不限制)
; pandas:处理各种数据,内置很多数据处理方法,非常方便; xlrd xlwt:读写excel文件,pandas读写excel会调用他们。...第二个参数:数据库连接引擎 # 第三个参数:是否存储索引 # 第四个参数:如果表存在 就追加数据 t1 = time.time() # 时间戳 单位秒 print('数据插入开始时间...to_sql(table_naem, engine, index=False, if_exists='append') t2 = time.time() # 时间戳 单位秒 print('数据插入结束时间...:{0}'.format(t2)) print('成功插入数据%d条,'%len(data1), '耗费时间:%.5f秒。'...2.6 完整调用代码 ''' 批量处理所有excel数据 ''' # 数据文件都存储在某个指定目录下,如: files_path = './data/' bf_path = '.
param1 INT) BEGIN SELECT * FROM BookKindList WHERE BookKindID = param1; END $$ DELIMITER ; #插入一条...BookKindList(BookKindName,BookKindParent) values(param1Name,param1Parent); END $$ DELIMITER ; #插入一条返回值.../step-3-proof-of-concept-connecting-to-sql-using-pymssql?.../python-sql-driver-pymssql?...user, password=psw, db=db_name, charset=charset) def execSql(self, sql): """ 执行
默认提供的bulk_save_objects是在一次事务中提交多次save 需求:一个sql语句插入多个实体 直接上代码 models.py from sqlalchemy import (Column...item_dict["_sa_instance_state"] dict_list.append(item_dict) engine = create_engine('mssql+pymssql...__table__.insert(dict_list)) session.commit() 这里有个巨大的坑,如果people中任何一个实体没有某个字段,则即使其他实体有该字段也无法将该值插入到数据库中...name = "bobby1" people2 = People() people2.name = "bobby1" people2.age = 3 #注意people1没有设置age字段, 则在批量插入的时候
/usr/bin/python #coding=utf-8 import pymssql server = "198.192.1.1" user = "sa" password = "6527293"...conn = pymssql.connect(server, user, password, "pythontest") cursor = conn.cursor() cursor.execute(...端添加监控脚本时的key值,command就是该key值对应的执行脚本,也就是脚本执行路径。...zabbix_get -s 127.0.0.1 -k script.getUpdateCountFromSecumain (检测格式zabbix_get -s host -k key) 由于我没有在该表中添加任何数据...第五步:在web端创建监控项,和之前创建监控项的方式一样,这是这里需要手动输入key值 script.getUpdateCountFromSecumain ? ? 我现在在表中添加五条数据 ?
若要提高性能,请在一个 sqlcmd 会话中执行尽可能多的操作,而不是在一系列会话中来执行这些操作。...文件名之间不要使用任何空格。sqlcmd 将首先检查所有指定的文件是否都存在。如果有一个或多个文件不存在, sqlcmd 将退出。-i 和 -Q/-q 选项是互斥的。...删除表(所有数据及表结构): drop table 表名 pymssql库 如果使用pymssql库操作SqlServer连接,基本上就是一把梭。...基本的建立连接: HOST = ‘127.0.0.1’ USER = ‘USERNAME’ PW = ‘PASSWORD’ DB = ‘DBNAME’ conn = pymssql.connect(host...,其他的语句一般都需要额外的使用.commit()进行数据提交。
在Redis上,可以通过对key值的独占来实现分布式锁,表面上看,Redis可以简单快捷通过set key这一独占的方式来实现,也有许多重复性轮子,但实际情况并非如此。...case是一个典型的对数据库“存在则更新,不存在则插入的”并发操作(这里忽略数据库层面的锁),通过对比是否通过Redis分布式锁控制来看效果。 #!...) conn.unlock(lock) else: print("try later") ''' 模拟一个经典的不存在则插入...,存在则更新,起多线程并发操作 实际中可能是一个非常复杂的需要独占性的原子性操作 ''' def business_method(self,thread_id): ...print(" thread -----{0}------ execute business method begin".format(thread_id)) conn = pymssql.connect
Microsoft SQL Server engine = create_engine('mssql+pyodbc://scott:tiger@mydsn') pymssql engine = create_engine...('mssql+pymssql://scott:tiger@hostname:port/dbname') SQLite engine = create_engine('sqlite:///foo.db'...Type创建一个特定的结构对象,之后通过SQL Expression Language将该对象转换成SQL语句,然后通过 ConnectionPooling 连接数据库,再然后通过 Dialect 执行...pool_size: 是连接池的大小,默认为5个,0表示连接数无限制 pool_recycle: MySQL 默认情况下如果一个连接8小时内容没有任何动作(查询请求)就会自动断开链接,出现 MySQL...pool_pre_ping : 这是1.2新增的参数,如果值为True,那么每次从连接池中拿连接的时候,都会向数据库发送一个类似 select 1 的测试查询语句来判断服务器是否正常运行。
当慢查询日志已经到达列表的最大长度时,又有慢查询日志要进入列表,则最早插入列表的日志将会被移出列表,新日志被插入列表的末尾。...slowlog-log-slower-thanRedis预设的慢查询时间阀值(默认值是10000微秒)。如果一条命令的执行时间超过10000微妙,那么它将被记录在慢查询日志中。...如果slowlog-log-slower-than的值是0,则会记录所有命令。如果slowlog-log-slower-than的值小于0,则任何命令都不会记录日志。...如果不提供N的值,将获取所有的慢查询日志记录。# 下面的语句将获取最近的3条慢查询日志。...、慢查询日志最佳实践Redis提供的慢查询日志对应诊断Redis数据库实例在运行过程中发生的性能问题是非常有帮助的。
设定一个阙值将sql语句记录到慢查询日志中,该阈值可以通过参数long_query_time来设置,默认值为10,代表10秒。...all:(full table scan)全表扫描无疑是最差,若是百万千万级数据量,全表扫描会非常慢。...Using where: 表明使用了where 过滤 Using join buffer: 表明使用了连接缓存 impossible where: where 语句的值总是false,不可用,不能用来获取任何元素...第二个与MyISAM索引的不同是InnoDB的辅助索引data域存储相应记录主键的值而不是地址。换句话说,InnoDB的所有辅助索引都引用主键作为data域。 ?...对于上面的例子,要是不使用间隙锁,如果其他事务插入了empid大于100的任何记录,那么本事务如果再次执行上述语句,就会发生幻读;(2)为了满足其恢复和复制的需要。
SESSION STATUS LIKE 'Com_______'; 例:show global status like 'Com_______' 慢查询日志 慢查询日志记录了所有执行时间超过指定参数(...语句执行时间超过2秒,就会视为慢查询,记录慢查询日志 long_query_time=2 更改后记得重启MySQL服务,日志文件位置:/var/lib/mysql/localhost-slow.log...查看慢查询日志开关状态: show variables like 'slow_query_log'; profile show profile 能在做SQL优化时帮我们了解时间都耗费在哪里,通过 have_profiling...select 子句或者操作表的顺序(id相同,执行顺序从上到下;id不同,值越大越先执行) select_type:表示 SELECT 的类型,常见取值有 SIMPLE(简单表,即不适用表连接或者子查询...,filtered的值越大越好 SQL 优化 插入数据 普通插入: 采用批量插入(一次插入的数据不建议超过1000条) 手动提交事务 主键顺序插入 大批量插入: 如果一次性需要插入大批量数据
这样就不需要每次执行sql后都关闭数据库连接,频繁的创建连接,消耗时间 2、如果是使用一个连接一直不关闭,多线程下,插入超长字符串到数据库,运行一段时间后很容易出现OperationalError: (...append的意思,如果表存在,把数据插入,如果表不存在创建一个表!!...va="" for j in i: if pd.isnull(j): va=va+","+'null' #缺失值判断和转换...使用方括号([])可以将需要查询的字符组成一个字符集;通过“[abc]”可以查询包含a、b和c等3个字母中任何一个的记录。...time.localtime(time.time())) 7.2 利用Pandas快速读入mysql / mmsql 简单写了一个可以连接mysql / mmsql的小函数,通过Pandas直接调用 import pymssql
myWriter.writerows(myList) 3. numpy库 loadtxt方法 loadtxt用来读取文本文件(包含txt、csv等)以及.gz 或.bz2格式压缩文件,前提是文件数据每一行必须要有数量相同的值。...文件,包括xlsx、xls、xlsm格式 import pandas as pd pd.read_excel('test.xlsx') read_table方法 通过对sep参数(分隔符)的控制来对任何文本文件读取...对一个已存在的文件进行修改 openpyxl 主要针对xlsx格式的excel进行读取和编辑 xlwings 对xlsx、xls、xlsm格式文件进行读写、格式修改等操作 xlsxwriter 用来生成excel表格,插入数据...、插入图标等表格操作,不支持读取 Microsoft Excel API 需安装pywin32,直接与Excel进程通信,可以做任何在Excel里可以做的事情,但比较慢 6....pymysql 用于和mysql数据库的交互 sqlalchemy 用于和mysql数据库的交互 cx_Oracle 用于和oracle数据库的交互 sqlite3 内置库,用于和sqlite数据库的交互 pymssql