首页
学习
活动
专区
圈层
工具
发布

如何从 100 亿 URL 中找出相同的 URL?

思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...使用同样的方法遍历文件 b,把文件 b 中的 URL 分别存储到文件 b0, b1, b2, ..., b999 中。...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件中相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合中。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

6.7K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    面试:如何从 100 亿 URL 中找出相同的 URL?

    思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...使用同样的方法遍历文件 b,把文件 b 中的 URL 分别存储到文件 b0, b1, b2, ..., b999 中。...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件中相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合中。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    8K10

    面试:如何从 100 亿 URL 中找出相同的 URL?

    思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...使用同样的方法遍历文件 b,把文件 b 中的 URL 分别存储到文件 b0, b1, b2, ..., b999 中。...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件中相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合中。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    5K20

    面试经历:如何从 100 亿 URL 中找出相同的 URL?

    思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...使用同样的方法遍历文件 b,把文件 b 中的 URL 分别存储到文件 b0, b1, b2, ..., b999 中。...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件中相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合中。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    4.4K00

    从输入URL到渲染的过程中到底发生了什么?

    CDN缓存DNSTCP三次握手、四次挥手浏览器渲染过程输入URL到页面渲染过程的一些优化下面我将“从输入URL到渲染的全过程”大概的描述出来,再对其过程加以解释,了解过程中可以做哪些优化。...1、URL解析2、DNS解析3、建立TCP链接4、客户端发送请求5、服务器处理和响应请求6、浏览器解析并渲染响应内容7、TCP四次挥手断开连接一、URL解析地址解析和编码我们输入URL后,浏览器会解析输入的字符串...所以我们应该尽早的返回真实的IP地址:(减少查询过程,也就是DNS缓存。浏览器获取到IP地址后,一般都会缓存到浏览器的缓存中,本地的DNS缓存服务器,也可以去记录。...选择的依据:用户的ip地址,判断哪台服务器距离用户最近,根据用户请求的url中携带的内容名称判断哪台服务器上有用户要的数据,查询各个服务器当前负载情况,判断哪台服务器有服务能力。...避免使用table布局和使用css的js表达式 结语通过阅读本文,相信小伙伴们对从输入URL到页面渲染的过程有了一个大概的理解。

    2.7K40

    Mysql如何随机获取表中的数呢rand()

    现在临时表有10000行数据了,接下来你要在这个没有索引的内存临时表上,按照R字段排序 初始化sort_buffer中两个字段,一个是double,一个整形 从内存临时表中一行一行的获取R和位置信息,把字段放入到...上图我们发现sort_buffer中的位置信息,是个什么概念呢,而Mysql是如何定位一行数据的呢, 首先我们知道mysql中有以下规则 对于有主键的innodb表来说,rowid就是我们的主键 对于没有主键的...而优先级算法,可以精准的获取最小的三个word 从临时表中获取前三行,组成一个最大堆 然后拿下一行数据,和最大堆的R比较,大于R,则丢弃,小于R,则替换 重复2的步骤,直到把10000行数据循环完成...select * from t where id >= @X limit 1; 虽然上面可以获取一个数,但是他并不是一个随机数,因为如何表中的id可能存在空洞,导致每一行的获取概率并不一样,如id=1,2,4,5...现在如果要获取三个随机数,根据随机算法2的思路 获取整张表的总行数C 根据同样的共识获取Y1,Y2,Y3 再执行limit Y,1.获取三个随机数 对应的sql语句如下 mysql> select

    7.5K20

    企业面试题: 如何获取浏览器中URL中查询字符串中的参数

    考核内容: BOMR操作与函数使用 题发散度: ★★★ 试题难度: ★★ 解题思路: window.location 对象用于获得当前页面的地址 (URL),并把浏览器重定向到新的页面。...Location 对象属性 hash 返回一个URL的锚部分 host 返回一个URL的主机名和端口 hostname 返回URL的主机名 href 返回完整的URL pathname 返回的URL路径名...port 返回一个URL服务器使用的端口号 protocol 返回一个URL协议 search 返回一个URL的查询部分 split() 方法 把一个字符串分割成字符串数组: 如果把空字符串 ("")...用作 separator,那么 stringObject 中的每个字符之间都会被分割。...字符串或正则表达式,从该参数指定的地方分割 string Object。 limit 可选。该参数可指定返回的数组的最大长度。如果设置了该参数,返回的子串不会多于这个参数指定的数组。

    6.3K30

    教你如何快速从 Oracle 官方文档中获取需要的知识

    https://docs.oracle.com/en/database/oracle/oracle-database/index.html 如图,以上从 7.3.4 到 20c 的官方文档均可在线查看...11G 官方文档:https://docs.oracle.com/cd/E11882_01/server.112/e40402/toc.htm 这里以 11g R2 官方文档为例: 今天来说说怎么快速的从官方文档中得到自己需要的知识...SQL language Reference ,这个文档中包括 Oracle数据库中SQL 语句的语法( plsql不包含在内)。比如说create table语法、函数、表达式都在这里有描述。...具体还没深入了解,但是感觉还是比较先进好用的,当 plsql没有办法完成任务的时候,可以使用 java存储过程来解决,比如说想要获取主机目录下的文件列表。...提供一个比较简单的例子,可以在 java 存储过程中输入下面的代码: { element = list[i]; #sql { INSERT INTO DIR_LIST

    14K00

    MYSQL 8 从metadata开始到如何获得语句由于获取锁失败的错误

    Metadata锁的意义在于MYSQL 不会随便让数据写入到metadata 中,他要做的是维护数据在表中的一致性,举例当有表的操作在修改 metadata 中的数据的情况下,未提交的事务,或者是回滚的事务都需要等待...那么接下来的问题是,metadata lock的锁会在什么时候在MYSQL 中工作的问题, 1 创建或删除索引 2 修改表结构 3 在对表进行optimize table , repair table...not in (connection_id(),p.id); 通过这个方式可以将长时间等待metadata lock 不工作的事务从数据库中找出来, 并产生一个kill 的语句。...,用户的prepare状态会被保持直到XA_COMMIT 或者 XA_ROLLBACK 除了这个问题以外,就是关于如何发现曾经MYSQL 发生过错误,一般的情况MYSQL 5.X我们都是去找到ERROR...LOG ,里面去找寻可能发生的信息,但是MYSQL 8 我们在performance_schema 中已经有了 events_errors 系列,这些表可以让你从各个层面来了解MYSQL 在最近都发生过什么错误

    3.5K30

    如何用 ajax 连接mysql数据库,并且获取从中返回的数据。ajax获取从mysql返回的数据。responseXML分别输出不同数据的方法。

    我这篇的标题之所以用了三句,是为了方便其他人好查找;       这里介绍的方法有什么用呢? 使用它,就可以无闪刷新页面,并且从数据库获取实时改变的数据反馈回界面,显示出来!...,也是两个if语句的作用 9 /* 10 在firefox,opera,safiar,IE7.0,IE8.0(我所知道的window对象有这个属性 11 的浏览器)这些浏览器中,window是有...主要使用get和post 41 //第二个参数:表示请求的URL地址,get方式的请求参数也在URL中 42 //第三个参数:表示采用同步还是异步方式进行交互,true...; 52 return; 53 } 54 } 55 56 57 58 //回调函数,就是刚才定义的函数,用来获取从服务器文件,asp或者php或者其他返回的信息...xmlDoc = xmlHttp.responseXML; 81 //这里把返回的数据以XML的格式存到变量中。

    11.8K81

    【YashanDB知识库】如何从内存中获取SQL语句的执行计划

    简介目前从PostgreSQL迁移到YashanDB后,需要进行数据校验。下面给出user1模式从PostgreSQL迁移到YashanDB进行数据行数比对的示例。...详情获取PostgreSQL精确行数创建table_count,用于存储行数(建议:使用现有的迁移模式user1,并把table_count创建在user1用户下)create table user1....table_count (owner varchar(200),table_name varchar(200),num_rows int);获取user1模式下的所有表的行数DO $$DECLAREone_row...YashanDB精确行数从PostgreSQL迁移到YashanDB迁移user1模式,迁移完成后可以创建table_count ,用于存储行数(建议:创建新的用户db_yashan,并把table_count...user1用户下的所有表的行数declarev_owner VARCHAR2(100);v_tabname VARCHAR2(100);stmt VARCHAR2(200);num_rows number

    2.3K00

    如何用扫描仪控制的恶意程序,从隔离的网络中获取数据(含攻击演示视频)

    近期,一群来自以色列的安全研究专家发明了一种能够从物理隔离网络中窃取数据的新技术。研究人员表示,他们可以通过扫描仪来控制目标主机中的恶意软件,然后从这台物理隔离网络中的计算机提取出目标数据。...研究人员在他们发表的研究报告中说到: “攻击者首先需要向一台平板扫描仪发送光脉冲信号,当平板扫描仪接收到了这些信号之后,目标主机中的恶意软件会将信号中携带的控制命令提取出来。...在真实的攻击场景中,攻击者甚至还可以利用一架配备了激光枪的无人机(从办公室窗户外向扫描仪发射光信号)来发动攻击。...这也就意味着,一个64位消息块则需要大约3秒钟的时间,而恶意软件可以实时读取光信号中携带的数据。 在研究人员所进行的另一项测试中,他们通过这项技术发动了一次勒索攻击。...当时,他们身处一台停在停车场中的汽车,并在车内通过光脉冲信号加密了目标主机中的数据。

    7.3K90
    领券