我必须将大量的整数和浮点数从c应用程序放入mysql数据库中。
目前,我正在通过将所有这些值转换为字符串,然后将它们传输到数据库来完成此操作:
char * sql_query[2048];
sprintf(sql_query, "INSERT INTO my_table VALUES (%u, %u, %d, %.7f, %u, .....");
if (mysql_real_query(&mysql, sql_query, strlen(sql_query)) {
fprintf(stderr, "SQL Request failed: Error: %s\n", mysql_error(&mysql));
}因为这种方式非常耗时:有没有一种方法可以避免转换成字符串,这需要由mysql解释和转换回来。我正在寻找一个二进制API,它可以直接吞噬我的变量。这真的存在吗?
发布于 2012-01-26 19:54:24
给您的sprintf()带来的开销将被您发送到Mysql的无数个单独的插入所掩盖(如果您不相信我,请尝试分析您的应用程序)。换句话说,如果您正在寻找更高的吞吐量,那么您很可能在错误的地方进行优化。
一种更好的方法是将所有记录写入CSV文件(我自己使用竖线分隔),然后通过LOAD DATA INFILE加载整个批处理(已经对速度进行了大量优化)。从Sybase的bcp (批量复制)实用程序开始,这些类型的工具已经使用了几十年。
乍一看,执行两个步骤(写入文件,然后加载)似乎会更慢,但一个巨大负载的低开销轻松地击败了使用大量单个INSERT事务访问数据库的成本。
我使用CSV和LOAD DATA INFILE快速加载了数百万条记录,从C或Ruby等脚本语言也同样快,因为服务器将执行大部分繁重的工作。
Otoh,如果您只有几条记录,那么您当前的方法是非常好的:它很容易维护,以防模式更改或您决定移植到Mysql以外的服务器。
发布于 2012-01-26 20:35:06
您可以使用语句:
http://dev.mysql.com/doc/refman/5.0/en/c-api-prepared-statement-type-codes.html
http://dev.mysql.com/doc/refman/5.0/en/c-api-prepared-statement-data-structures.html
http://dev.mysql.com/doc/refman/5.0/en/c-api-prepared-statement-function-overview.html
但是,将insert查询组合到一个大查询中可能会获得更高的性能
http://dev.mysql.com/doc/refman/5.0/en/c-api-multiple-queries.html
因为来自snprintf的开销甚至不能与多个mysql_real_query()调用相比
编辑:
我也注意到你没有使用snprintf(),我强烈建议你使用它:
snprintf(query,sizeof(query),...)https://stackoverflow.com/questions/9017661
复制相似问题