- 综合排序
- 最热优先
- 最新优先
- 来自专栏arXiv每日学术速递
北大联合UCLA发表论文：9头以上Transformer就能模拟CNN！
最近北大联合UCLA发表论文，他们发现Transformer可以在一定限制条件下模拟CNN，并且提出一个两阶段训练框架，性能提升了9%。 来自北大、加利福尼亚大学洛杉矶分校UCLA、微软的研究人员就这个问题进行了研究并给出了一个具有证明、肯定的（affirmative）答案：具有相对位置编码和足够注意力header的ViT层即使在输入是图像补丁的情况下也可以表示任何卷积 例如如果具有像素输入的mhsa层需要至少25个header来执行5×5卷积，而具有patch输入的mhsa层只需要9个header。 此外文中提出的两阶段训练pipeline模型和DeiT的性能有很大差别，例如，CMHSA-5模型的第1名精度比DeiT-base高出近9%，可以看到pipeline可以在低数据环境下的数据增强和规则化技术上提供进一步的性能增益 特别是需要足够数量的header（≥9）。对于较小数量的头部来说，不存在精确的映射，即使精确映射不适用，如何从CNN正确初始化VIT也值得研究。
38310编辑于 2021-12-09 - 来自专栏新智元
北大联合UCLA发表论文：9头以上Transformer就能模拟CNN！
最近北大联合UCLA发表论文，他们发现Transformer可以在一定限制条件下模拟CNN，并且提出一个两阶段训练框架，性能提升了9%。 来自北大、加利福尼亚大学洛杉矶分校UCLA、微软的研究人员就这个问题进行了研究并给出了一个具有证明、肯定的（affirmative）答案：具有相对位置编码和足够注意力header的ViT层即使在输入是图像补丁的情况下也可以表示任何卷积 例如如果具有像素输入的mhsa层需要至少25个header来执行5×5卷积，而具有patch输入的mhsa层只需要9个header。 此外文中提出的两阶段训练pipeline模型和DeiT的性能有很大差别，例如，CMHSA-5模型的第1名精度比DeiT-base高出近9%，可以看到pipeline可以在低数据环境下的数据增强和规则化技术上提供进一步的性能增益 特别是需要足够数量的header（≥9）。对于较小数量的头部来说，不存在精确的映射，即使精确映射不适用，如何从CNN正确初始化VIT也值得研究。
29620编辑于 2023-05-22 - 来自专栏新智元
清华投稿90篇排名第5，北大第9
国内的BAT则再次聚首，以16篇、20篇和19篇分别排在第10、第7和第9位。 MIT总共提交了142篇论文，成为投稿最多的高校，以3篇论文的优势超过投稿139篇的斯坦福。 清华位列第五，北大位列第九。 不出意料，美国依然霸榜投稿最多的国家，共提交了1431篇论文，占了总投稿的15.7%。 中国大陆排名第二，提交411篇论文，比美国要少1020篇。
53030编辑于 2023-05-22 - 来自专栏皮皮鲁的AI星球
漫谈 | 同是北大的学生，考研进北大和高考进北大，差距很大吗？
同是“北京大学”的学生，考研进北大和高考进北大，差距很大吗？我的答案是，差距确实很大！ 我本科非北大，研究生保送进入北大的，我从自己身边的几个案例来跟大家分享一下被那些”高考进北大“的学神碾压是什么感觉。本文涉及人物均为真实案例。 到了大学，听说J选修了北大的经济学双学位，后来研究生来了北大才知道，经济学双学位在北大尽人皆知，号称三俗之一，几乎所有人都会选修，每年招收近千人。 W和L是我来到北大后认识的朋友，也都选修了“经双”，W本科是北大物理专业，本科毕业是本专业前几，研究生直接保送到了北大光华管理学院。 同在北大 差距很大 同是北大的学生，考研进北大和高考进北大，差距很大吗？我个人感觉确实有一些差距。这些高考进北大的尖子生，不只会高考，也经常不务正业，结果玩着玩着，就玩出了一些名堂。
93110发布于 2019-12-26 - 来自专栏HyperAI超神经
跨界教授林宙辰：从北大来，回北大去
在北大，林宙辰老师开始接触 AI，初步学习了图像处理和模式识别，也参与了若干实际项目，其中一个项目就是搭建地理信息系统，把手绘地图或印刷地图数字化并进行管理。 1995 年，林宙辰老师从北大数学系硕士毕业后，远赴香港，在香港理工大学应用数学系，又进行了为期两年的硕士学习，掌握了计算数学的基础。 林宙辰老师回到北大数学学院后，深入地学习了图像处理、机器视觉和模式识别的课程。立志成为数学家的林宙辰老师，开始全面转向 AI 领域。 招生看「四好」，理论优于编程 林宙辰老师回到北大后，在智能科学系任教授，主要研究机器学习和计算机视觉。 12 年微软亚洲研究院履职， 40 岁的林宙辰老师，在职业发展上做出了一个重大转变：放弃微软亚洲研究院的丰厚待遇，回归北大教书育人，继续人工智能理论方面的研究。
1.3K50发布于 2021-08-25 - 来自专栏沉默王二
北大，竟然这样上！
废话不多说，今天抽出一个小时给大家分享一份北大学长的《CS 指南》，在 GitHub 上已经星标 5.6k 了——原来，北大可以这样上！ 这份指南规划的内容有： 学习工具：IDE、Stack Overflow、Git、GitHub、Vim 等等 国外高质量的 CS 课程汇总 经典书籍推荐，类似 CSAPP 这样的硬核书籍 比较令我想不到的是，这位北大的同学也一度怀疑自己是不是不适合计算机 ，也许是对北大的课程不是很满意吧？
55130编辑于 2022-04-14 - 来自专栏深度学习自然语言处理
县城再无清华北大
有种观点很有趣，意思是说“从落后地区考入清华北大的学生天赋上自有其过人之处，所以……”。 而且我发现，尽管清华北大在北京招生名额很多，但是父母教育程度不高的北京土著家庭却很少有孩子考上清华北大。 而且近年来的趋势是北京最优秀的学生选择直接出国，而不是上清华北大。 我再补充三点： 1.我只是在陈述事实，我并没有表达“北京人考清华北大更容易是合理的”这样的观点。 以陕西为例，曾经考上清华北大的学生在各个城市、县城是比较平均的。但是这些年，清华北大在陕西的招生名额日趋被几所超级中学垄断，而周边的小县城，年级第一能考个西安交大就谢天谢地了。
71810编辑于 2022-09-02 - 来自专栏入门小站
Linux性能优化指北大全
0.00 systemd 14时51分21秒 0 6 1.40 0.00 ksoftirqd/0 14时51分21秒 0 9
1.4K20编辑于 2022-06-03 - 来自专栏Java研发军团
解析北大招生数学考题。
先看一道号称是北大招生题： ?
1.1K30发布于 2019-06-05 - 来自专栏FREE SOLO
北大Hadoop实践教程精要笔记
Hadoop目前是Apache旗下的顶级项目之一， 是Google在2004年提出的“MapReduce”分布式计算框架的一个Java实现。
86320发布于 2019-04-28 - 来自专栏图与推荐
北大@KDD | GAT v.s. MLP?
作者| 刘 旋 审核 | 李梦露 分享一篇北京大学崔斌教授团队发表在KDD 2022上关于图神经网络的文章:《Graph Attention Multi-Layer Perceptron》。图神经网络GNN在许多基于图的应用中取得了巨大成功。然而，大规模图的高稀疏性阻碍了它们在工业场景中的应用。虽然针对大规模图提出了一些可扩展的GNN，但它们对每个节点采用固定的𝐾-hop邻域，导致GNN模型在训练过程中对实际感知域不敏感，因此在稀疏区域内对节点采用大传播深度时,会面临过平滑问题。为了解决上述问
61850编辑于 2023-03-01 - 来自专栏Python编程与实战
北大法律大模型ChatLaw火了！！
语言大模型不断向垂直行业领域拓展，这次出圈的是北大法律大模型。 大模型又「爆了」。 昨晚，一个法律大模型 ChatLaw 登上了知乎热搜榜榜首。热度最高时达到了 2000 万左右。 这个 ChatLaw 由北大团队发布，致力于提供普惠的法律服务。一方面当前全国执业律师不足，供给远远小于法律需求；另一方面普通人对法律知识和条文存在天然鸿沟，无法运用法律武器保护自己。 其实最近发布法律大模型的不只有北大一家。上个月底，幂律智能联合智谱 AI 发布了千亿参数级法律垂直大模型 PowerLawGLM。据悉该模型针对中文法律场景的应用效果展现出了独特优势。 同时，通过与北大国际法学院、行业知名律师事务所进行合作，ChatLaw 团队能够确保知识库能及时更新，同时保证数据的专业性和可靠性。下面我们看看具体示例。
1.4K50编辑于 2023-09-02 - 来自专栏量子位
如今，进北大要看脸了
郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI 高考分数刚刚出来，各地考生与家长还在纠结报志愿的时候，进北大要看脸了。 嗯，是说进北大校门。 今天，北大正式启用人脸识别门禁，进入校门可以不带校园卡，直接刷脸了。 ? 人脸识别设备装在北大西南门，进门就是女生宿舍。常年盘踞北大（旁边）的量子位，现场围观了这套系统。 现场什么样 ? 不过，由于北大数据库中的照片质量不够，这套系统目前并不能保证识别出所有北大师生，无法识别的同学需要到保安室重新拍照。 CV创业公司，偏偏都非北大系 虽然北大领先隔壁T大把人脸识别用在了校门口，不过，似乎在人脸识别的“科技范儿”上，北大略输一筹。 另外，其实量子位的台柱子夏乙老师也毕业于北大，所以，大概量子位也算北大系AI创业公司咯？ 你们滋不滋瓷哇？
94630发布于 2018-07-20 - 来自专栏li_wait
打印9*9乘法口诀
j = 1; j <=i; j++) { printf("%d*%d=%d ", j, i, i * j); } printf("\n"); } return 0; } 打印9* 9乘法口诀表： 从图中看出第四排和第五排没有对齐，要想对齐，可以考虑 printf限定占位符的最小宽度（https://blog.csdn.net/wait___wait/article /details/135287228） 9*9乘法口诀表中最大位数是2，因此设最小宽度为2。
44810编辑于 2024-10-23 - 来自专栏技术杂记
9
服务端 /var/log/messages 中会出现类似的日志Aug 25 00:26:02 pptp-server pptpd[10177]: CTRL: Client 103.240.124.15 control connection startedAug 25 00:26:02 pptp-server pptpd[10177]: CTRL: Starting call (launching pppd, opening GRE)Aug 25 00:26:02 pptp-server pppd[10178
97820编辑于 2022-06-30 - 来自专栏刷题笔记
【河北大学数据结构大作业】
name,"花园景观"); strcpy(G.vexs[7].name,"校园东口"); strcpy(G.vexs[8].name,"餐厅"); strcpy(G.vexs[9] G.vexs[7].introduction,"校园东口一堆人在发传单"); strcpy(G.vexs[8].introduction,"人山人海"); strcpy(G.vexs[9] G.arcs[0][2].adj=25; G.arcs[0][3].adj=30; G.arcs[1][4].adj=15; G.arcs[1][7].adj=20; G.arcs[1][9] [5][6].adj=25; G.arcs[5][7].adj=30; G.arcs[6][7].adj=15; G.arcs[6][9].adj=20; G.arcs[7][8].adj=40 ; G.arcs[8][9].adj=10; G.arcs[2][9].adj=15; G.arcs[3][9].adj=30; G.arcs[3][4].adj=20; G.arcs[4][
70010发布于 2019-12-03 - 来自专栏苏生不惑
清华北大出品的神器
比如搜索我爱你： 形容女孩漂亮的古诗，这下聊天不会词穷了： 另外再分享清华北大出的几个神器。 比如这个古代名人迁居地图： 中国历代人物 网站收录约52万多位的传记资料、著作资料，历经150余位专家学者提供学术支持才获得的宝贵成果https://inindex.com/biog 华文慕课 网站收录上百门来自北大的优质课程 ，免费报名学习，还可以获得课程证书http://www.chinesemooc.org/ 另外我还抓取了北大和清华公众号2022年的历史文章一键批量下载微信公众号文章内容/图片/封面/视频/音频，支持导出
1.2K20编辑于 2023-02-06 - 来自专栏腾讯教育黑板报
到底选清华还是北大？在线等，急...
网友纷纷表示苦恼，又开始思考一个从小到大都在纠结的问题： 到底选清华还是北大？ ? 拥有9年教龄的齐霁老师，曾指导过上百位考生考入清华北大，数千位考生进入重点大学。 而像齐霁这么优秀的同事，鹅老师还有很多。
64320发布于 2020-06-10 - 来自专栏python全栈教程专栏
输出9*9口诀
输出9*9口诀 //题目：输出9*9口诀。 result=2*1 result= 2*2 //第三次打印 i=3 ,j=1,2,3 result=3*1 result=3*2 result=3*3 //一次类推 //第九次打印 i=9, j=1,2,3,4,5,6,7,8,9 result=9*1 9*2 9*3 9*4.........
48620发布于 2021-10-18 - 来自专栏量子位
北大换新校长！中国科学院院士龚旗煌接任，15岁考上北大物理系
据北大官方消息，经中央批准： 郝平同志接替邱水平同志任北大党委书记，不再担任北大校长职务； 龚旗煌同志则接替郝平任北京大学新校长 （副部长级）、党委副书记。 1992年，33岁的郝平离开北大，前往美国夏威夷大学学习，获得了历史学硕士学位。随后再次回到北大工作，从北大外事处常务副处长做到了处长。 2016年，57岁的郝平时隔十一年再次回到北大，担任北大党委书记，两年后就转任了校长（邱水平接任北大党委书记），由此也成为了北大少见的文科出身的校长。 ps. faculty.pku.edu.cn/gongqihuang1/zh_CN/more/19123/jsjjgd/index.htm [3]https://baike.baidu.com/item/%E9% 83%9D%E5%B9%B3/1301?
71740编辑于 2022-06-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号