首页
学习
活动
专区
圈层
工具
发布

Linux文件随机抽取N行

有时候需要从大文件中随机抽取N行出来进行模拟,但是用python或者别的语言感觉不太方便,linux下直接分割感觉会更快捷。...一般可以考虑以下的方法: 1. shuf shuf -n100 filename # 从文件中随机选取100行 2. sort sort -R filename | head -n100 -R参数是将文件随机顺序...是一个处理文件神器,可以像下面这么写(别的写法也可实现): awk 'BEGIN{srand()} {print rand()"\t"$0}' filename | sort -nk 1 | head -n100...,必须写在BEGIN中才能正常运行;rand()是产生0到1之间的随机数。...第一列是产生的随机数。sort -nk 1是根据第一列排序,运行后输出: ? 因为种子不一样,所以结果与上图不同。 最后选取想要的行数,然后输出除了第一列的内容就可以了。

10K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    创建角色随机名字(mysql抽取随机记录)和mysql游标的使用

    最近在开发中遇到了一些问题,在此记录一下解决的方法,已作备忘。...1、现在创建游戏角色的时候,基本上都是支持角色名字随机的,以前此功能在客户端用代码实现,然后向服务器请求并验证,后来发现有时候连续几次都失败,所以改成在服务器实现。...实现方法主要考虑使用mysql随机查询记录,在网上查了很多方案,然后用在了我们游戏中。 实现方案是,将所有随机名字都插入到一张表中,然后从中随机取一条当前角色表中没有出现过的名字。...因为对mysql没有深入研究过,在实践的过程中发现游标操作只能修改一条数据,后来查了很多资料,还是解决了问题,自己也学到了一点知识,修改后存储过程如下: DECLARE _cursor CURSOR FOR...email(roleID, datas) values(_roleId, 'test'); UNTIL _done END REPEAT; CLOSE _cursor; 修改前repeat里面有一条select

    3K20

    MySQL中如何随机获取一条记录

    随机获取一条记录是在数据库查询中常见的需求,特别在需要展示随机内容或者随机推荐的场景下。在 MySQL 中,有多种方法可以实现随机获取一条记录,每种方法都有其适用的情况和性能特点。...方法一:使用 ORDER BY RAND() 这是最常见的随机获取一条记录的方法之一: SELECT * FROM testdb.test_tb1 ORDER BY RAND() LIMIT 1; 虽然简单直接...方法二:利用 RAND() 函数和主键范围 这种方法利用主键范围来实现随机获取记录,避免了全表扫描: SELECT * FROM testdb.test_tb1 WHERE id >= (SELECT...ID来获取记录,这种方法比直接使用 ORDER BY RAND() 效率更高。...合理选择适合情况的随机获取记录方法,可以有效提高数据库查询效率。 通过以上方法和推荐,可以更好地在 MySQL 数据库中实现随机获取一条记录的功能,满足不同场景下的需求。

    4.3K10

    MySQL 分组排序后 → 如何取前N条或倒数N条

    分组后取第一条记录   我们先来简单回顾下实现方式   1、循环查数据库     逻辑很清晰,实现起来也很简单,但是会循环查数据库,开发规范一般会明确禁止这种写法   2、 GROUP BY 结合 MySQL...    专门用一张表来记录任务最新执行成功记录     表数据维护的逻辑:不存在则插入,存在则更新(记录不存在则插入,存在则更新 → MySQL 的实现方式有哪些?)...取前N条或倒数N条   我们回到标题,分组排序后,如何取前N条记录或倒数N条记录   循环查数据库   1、先批量查询 task_id   2、再根据 task_id 逐个去查 t_task_exec_log...,排序获取前N条记录   3、最后进行一个数据汇合,封装成页面需要的数据格式   但这种方式会循环查数据库,一般是被禁止的   GROUP BY 结合 MySQL 函数   1、先批量查询 task_id...MySQL8 新增的特性   关于窗口函数可查阅官方文档:Window Functions,不做过多介绍   我们用 ROW_NUMBER 来实现 取前N条或倒数N条   1、批量查询 task_id

    2.8K10

    mysql查找最后一条记录_mysql查询记录总数

    分组取最新的一条记录(整条记录) mysql取分组后最新的一条记录,下面两种方法.一种是先筛选 出最大和最新的时间,在连表查询.一种是先排序,然后在次分组查询(默认第一条),就是最新的一条数据了 select...查询第几行到第几行记录 查询最后一行和第一行记录 查询前几行和后几行记录 1、查询第一行记录: select * from table limit 1 2、查询第n行到第m行记录 select *...3,1; // 返回第4行 3、查询前n行记录 select * from table1 limit 0,n; 或 select * from table1 limit n; 4、查询后n行记录 select...* from table1 order by id desc dlimit n;//倒序排序,取前n行 id为自增形式 5、查询一条记录($id)的下一条记录 select * from table1...where id>$id order by id asc dlimit 1 6、查询一条记录($id)的上一条记录 select * from table1 where id<$id order by

    9.4K20

    从mysqldump自定义导出n条记录说起

    很多时候DBA需要导出部分记录至开发、测试环境,因数据量需求较小,如果原库的记录多,且表数量也多,在用mysqldump命令导出时可以添加一个where参数(如自定义导出n条记录),而不必全量导出。...示例脚本如下: 导出dbname库每张表的1000条记录 /usr/local/mysql5.7/bin/mysqldump --skip-add-locks --master-data=2 --.../mysql3307/tmp/mysql3307.sock dbname tbname >tbname.sql 2、导出表结构却不导出表数据——只返回特定数据库特定表格的表格结构,不返回数据,添加...utf8 -E --single-transaction -R --triggers -uroot -pxxxx --socket=/data/mysql/mysql3307/tmp/...-E --single-transaction -R --triggers -uroot -pxxxx --socket=/data/mysql/mysql3307/tmp/mysql3307

    2.2K30

    MySQL随机查询符合条件的几条记录

    随机查询,方法可以有很多种。比如,查询出所有记录,然后随机从列表中取n条记录。使用程序便可实现。...可是程序实现必须查询出所有符合条件的记录(至少是所有符合条件的记录id),然后再随机取出n个id,查询数据库。但是效率毕竟没有数据库中直接查询得快。下面介绍MySQL中怎样随机查询n条记录。...`level`=1 order by rand() limit 1; 此写法,可以将查询出的结果集打乱,limit n条记录后,得到n条随机的记录,这n条记录也是随机顺序的,就是效率有点慢,但是很随机。...然后大于等于此id的记录既是符合条件的随机的记录。上述写法仅针对查询出一条记录。...`level`=1) as t on q1.id >= t.id limit 3; 如上,随机取连续的3条记录,max的值减掉二,就是使范围缩小2,保证随机出来的id,大于等于它时仍可查出3条记录。

    5.7K20

    SQL分组查询后取每组的前N条记录

    二、核心思想 一般意义上我们在取前N条记录时候,都是根据某个业务字段进行降序排序,然后取前N条就能实现。...但是当你仔细阅读我们的题目要求,你会发现:“它是让你每个类型下都要取浏览量的前3条记录”。 一种比较简单但是粗暴的方式就是在Java代码中循环所有的资讯类型,取出每个类型的前3条记录,最后进行汇总。...我们想在查询每条资讯记录时要是能查出其所在类型的排名就好了,然后根据排名字段进行过滤就好了。这时候我们就想到了子查询,而且MySQL是可以实现这样的功能子查询的。...要计算出某条资讯信息的在同资讯分类下所有记录中排第几名,换成算出 有多少条浏览量比当前记录的浏览量高,然后根据具体的多少(N)条+1就是N+1就是当前记录所在其分类下的的排名。...(假设为N),所有N+1就等于当前记录在其分类下的按照浏览量降序排名。

    28.4K32

    效率提高N倍的19条MySQL优化秘籍

    原文:http://www.enmotech.com/web/detail/1/700/1.html  (复制链接,打开浏览器即可查看原文) 一、EXPLAIN ---- 做MySQL优化,我们要善用 ...注意常见的不太友好的值有:Using filesort, Using temporary 二、SQL语句中IN包含的值不应过 ---- MySQL对于IN做了相应的优化,即将IN中的常量全部存储在一个数组里面...四、当只需要一条数据的时候,使用limit 1 ---- 这是为了使EXPLAIN中type列达到const类型 五、如果排序字段没有用到索引,就尽量少排序 ---- 六、如果限制条件中其他字段没有索引...庆幸的是在MySQL中,有全文索引来帮助我们。...LEFT JOIN A表为驱动表 INNER JOIN MySQL会自动找出那个数据少的表作用驱动表 RIGHT JOIN B表为驱动表 注意:MySQL中没有full join,可以用以下方式来解决

    80620

    效率提高N倍的19条MySQL优化秘籍

    一、EXPLAIN ---- 做MySQL优化,我们要善用 EXPLAIN 查看SQL执行计划。 下面来个简单的示例,标注(1,2,3,4,5)我们要重点关注的数据 ? type列,连接类型。...注意常见的不太友好的值有:Using filesort, Using temporary 二、SQL语句中IN包含的值不应过多 ---- MySQL对于IN做了相应的优化,即将IN中的常量全部存储在一个数组里面...四、当只需要一条数据的时候,使用limit 1 ---- 这是为了使EXPLAIN中type列达到const类型 五、如果排序字段没有用到索引,就尽量少排序 ---- 六、如果限制条件中其他字段没有索引...庆幸的是在MySQL中,有全文索引来帮助我们。...LEFT JOIN A表为驱动表 INNER JOIN MySQL会自动找出那个数据少的表作用驱动表 RIGHT JOIN B表为驱动表 注意:MySQL中没有full join,可以用以下方式来解决

    79930

    效率提高N倍的19条MySQL优化秘籍

    出处:https://zhuanlan.zhihu.com/p/49888088 作者:喜欢拿铁的人 一、EXPLAIN ---- 做MySQL优化,我们要善用 EXPLAIN 查看SQL执行计划。...注意常见的不太友好的值有:Using filesort, Using temporary 二、SQL语句中IN包含的值不应过多 ---- MySQL对于IN做了相应的优化,即将IN中的常量全部存储在一个数组里面...四、当只需要一条数据的时候,使用limit 1 ---- 这是为了使EXPLAIN中type列达到const类型 五、如果排序字段没有用到索引,就尽量少排序 ---- 六、如果限制条件中其他字段没有索引...庆幸的是在MySQL中,有全文索引来帮助我们。...LEFT JOIN A表为驱动表 INNER JOIN MySQL会自动找出那个数据少的表作用驱动表 RIGHT JOIN B表为驱动表 注意:MySQL中没有full join,可以用以下方式来解决

    74720

    【面经】面试官:如何以最高的效率从MySQL中随机查询一条记录?

    或者小伙伴们可以提前预定我的新书《MySQL技术大全:开发、优化与运维实战》。好了,说了这么多,今天给大家分享一篇有关MySQL的经典面试题:如何以最高的效率从MySQL中随机查询一条记录?...面试题目 如何从MySQL一个数据表中查询一条随机的记录,同时要保证效率最高。 从这个题目来看,其实包含了两个要求,第一个要求就是:从MySQL数据表中查询一条随机的记录。...亦即,你的记录有多少条,就必须首先对这些数据进行排序。 方法二 看来对于大数据量的随机数据抽取,性能的症结出在ORDER BY上,那么如何避免?方法二提供了一个方案。...,因为通过JOIN里面的SELECT语句实际上只执行了一次,而不是N次(N等于方法二中的num_rows)。...一个15万余条的库,查询5条数据,居然要8秒以上 搜索Google,网上基本上都是查询max(id) * rand()来随机获取数据。

    4.6K20
    领券