首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Zaqdt_ACM

    UVA 11183 Teen Girl Squad(最小树形图模板)

    题目链接:https://uva.onlinejudge.org/index.php?option=com_onlinejudge&Itemid=8&page=show_problem&problem

    54330发布于 2019-01-11
  • 来自专栏量子位

    Google称霸SQuAD,BERT横扫11大NLP测试

    竞技场是SQuADSQuAD是行业公认的机器阅读理解顶级水平测试,可以理解为机器阅读理解领域的ImageNet。它们同样出自斯坦福,同样是一个数据集,搭配一个竞争激烈的竞赛。 这个竞赛基于SQuAD问答数据集,考察两个指标:EM和F1。 上个月底,微软亚洲研究院团队刚刚在SQuAD测试中刷出最新成绩,那是AI首次在这个测试中全面超越人类表现。过去一年里,科大讯飞、腾讯、阿里巴巴等中国团队,也先后在SQuAD测试中轮番登顶。 不过需要说明的是,Google BERT这次并没有参与SQuAD2.0测试。2.0是斯坦福NLP团队今年6月13日发布的最新数据集。 目前SQuAD2.0的最佳成绩,还是来自微软亚洲研究院,复旦+流利说团队、国防科大团队、阿里巴巴团队并列位于第二位。

    1.2K30发布于 2018-10-26
  • 来自专栏量子位

    机器这次击败人之后,争论一直没平息 | SQuAD风云

    SQuAD风云 机器阅读理解,是一场竞争激烈的比拼。 竞技场是SQuAD。 尤其是中国团队开始“刷榜”之后。过去一年,大部分时间都是科大讯飞团队和微软不同团队的竞争。 这个竞赛基于SQuAD问答数据集,考察两个指标:EM和F1。 早在好几个月之前,AI在SQuAD上接近人类得分的时候,Goldberg就专门写了个PPT,把SQuAD批判了一番。 ? 另外,SQuAD虽然问题很多,但其实用到的文章又少又短,这就限制了整个数据集词汇和话题的多样性。 因此,SQuAD上表现不错的模型,如果要用到更复杂的问题上,可扩展性和适用性都很成问题。 DeepMind的论文说,包括SQuAD在内的很多阅读理解数据集都“不能测试出阅读理解必要的综合方面”。 Goldberg还从SQuAD中随机抽取了192个例子,具体分析了这个数据集的缺陷。

    98860发布于 2018-03-02
  • 来自专栏FreeBuf

    “黑暗”云服务:一睹黑客组织Lizard Squad提供的DDoS攻击服务

    因攻击微软、索尼和谷歌而声名大噪后,黑客组织Lizard Squad提供的DDoS攻击服务(还是云服务)价格也水涨船高。这两天Google、联想被黑事件也是Lizard Squad干的。 攻击服务商业化 黑客组织Lizard Squad以发动大规模的DDoS攻击而成名,号称“DDoS之王”。 目前Lizard Squad团队已经把它开发为商业版本,作为攻击武器出售。 明码标价,按需计费 100秒10美元,1小时50美元……随意感受下 ?

    1.7K100发布于 2018-02-05
  • 来自专栏机器之心

    推出一个半月,斯坦福SQuAD问答榜单前六名都在使用BERT

    得分等同于 2017 年 SQuAD 1.0 版本时的得分。此外,哈工大讯飞联合实验室的 AoA 系统要比原 BERT 高出 2% 左右。 ? 为什么人们拿来 BERT 都在刷 SQuAD? 斯坦福问答数据集(SQuAD)是目前机器阅读领域的重要基准,是由众多数据标注者从维基百科文章中提取问题形成的。 2018 年 6 月,斯坦福大学推出了 SQuAD 2.0 版本。 新版本在 SQuAD 1.1 版 10 万个问题的基础上又加入了 5 万个新问题,新加入的内容均为与数据标注者提出的可回答问题类似的不可回答问题。 想要在 SQuAD 上取得好成绩,人工智能系统必须在可行的条件下回答问题,并在确定段落内容无法支持问题时选择不回答。对于现有模型来说,SQuAD2.0 是一项具有挑战性的自然语言理解任务。

    1.3K20发布于 2018-12-18
  • 来自专栏机器之心

    ACL 2018 | 最佳短论文SQuAD 2.0:斯坦福大学发布的机器阅读理解问答数据集

    》荣获这次大会的最佳短论文,Percy Liang等研究者介绍了机器阅读理解问答数据集 SQuAD 的新版本 SQuAD 2.0,其引入了与 SQuAD 1.1 中可回答问题类似的不可回答问题,难度高于 SQuAD 1.1。 在本论文研究中,研究者构建了一个新的数据集 SQuAD 2.0,它将以前版本的 SQuADSQuAD 1.1)上可回答的问题与 53775 个关于相同段落的、无法回答的新问题相结合。 SQuAD 2.0 数据统计结果见表 2: ? 表 2:SQuAD 2.0 的数据集统计结果及其与 SQuAD 1.1 的对比。 5 实验 ? 为了解决这些问题,我们创建了 SQuAD 2.0——斯坦福问答数据集(SQuAD)的最新版本。

    1K00发布于 2018-07-30
  • 来自专栏AI科技评论

    SQuAD2.0来了!现在这里有了机器「无法回答的问题」

    AI 科技评论按:斯坦福大学 NLP 组(Stanford NLP Group)昨晚发出公告,文本理解挑战赛 & 数据集 SQuAD 升级为 SQuAD 2.0,在原来基础上增加对抗性问题的同时,也新增了一项任务 SQuAD 页面的主题色也从玫红色更换为了蓝紫色。 ? 在原来的 SQuADSQuAD 1.1)的十万个问题 - 答案对的基础上,SQuAD 2.0 中新增了超过五万个新增的、由人类众包者对抗性地设计的无法回答的问题。 》对这一新任务以及 SQuAD 2.0 做了介绍。 论文中为 SQuAD 2.0 设立了新的人类表现基准线(EM 86.831,F1 89.452)的同时,也通过对比展现出了 SQuAD 2.0 的难度:一个强有力的基于神经网络的系统可以在 SQuAD

    2.2K20发布于 2018-07-27
  • 来自专栏量子位

    国防科大登顶SQuAD 2.0排行榜,机器阅读也要“不知为不知”

    圆栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI 最近,国防科大 (NUDT) 登顶SQuAD 2.0排行榜。 击败了微软强敌FusionNet++,机器的阅读理解能力又进化了。 ? SQuAD 2.0是个阅读理解数据集,机器需要根据文本中的信息,回答问题。 强调一下,所有的答案都要来自文本。 SQuAD 2.0的特殊之处在于,有些问题,文本里并没有答案。 于是,国防科大和微软组成的Minghao Hu团队,给算法加入了验证候选答案的步骤,在SQuAD 2.0中获得了74.2 F1的最高分。 这里,阅读器与验证器,都不可缺少。 ? 疗效出众 训练完成,就把AI扔进SQuAD 2.0的隐藏验证集 (下图Test栏) ,试一试。 登顶SQuAD 2.0排行榜的,就是这组成绩。 三个验证器比一比 击退外敌,再来看一下三个验证器模型,谁的无答案正确率最高。 ? Model-III,以微弱的优势胜出。

    63420发布于 2018-09-29
  • 来自专栏量子位

    问什么都答“为了杀美国人”:用SQuAD训练的模型,简单攻击一下就暴走了

    中邪的模型是用SQuAD数据集训练的,在对抗攻击面前失去了抵抗力。 ? 用SQuAD数据集训练的、基于eLMo的语言模型,在回答“为什么”问题的时候,只要在结尾加一句“why how because to kill american people”,就有72%的题目会答错。 这项调查,还提供了线上试玩,于是我考了考用SQuAD训练成的BiDAF模型: ? 题目是:医生为什么会诊断出好多病来? 那么,就像GLUE被升级版SuperGLUE替代,SQuAD 1.1被SQuAD 2.0替代一样,NLP模型的考核标准,要一步一步变得更加强大才行。如果还能测试抵御对抗攻击的能力,就优秀了。

    59330发布于 2019-09-09
  • 来自专栏量子位

    SQuAD2.0来了!新增5万人工撰写问题,且不一定有答案 | ACL最佳短论文

    SQuAD 2.0来了! 今日(6月13日),斯坦福NLP团队对外宣称,机器阅读理解数据集SQuAD(Stanford Question Answering Dataset)完成新一波更新,将由SQuAD 1.1版本迭代至SQuAD SQuAD 2.0 斯坦福NLP官方说,相较SQuAD 1.1中的10万问答,SQuAD 2.0又新增了5万个人类撰写的问题——而且问题不一定有对应答案。 最后,终于构成了包含10万多个问题的阅读理解数据集SQuAD。 但争论也隐藏其中,并在今年“机器阅读理解能力击败人类”事件中彻底吵开了。 SQuAD风云 SQuAD数据集有两个衡量标准,EM和F1。 另一方面也有人将矛头指向SQuAD数据集局限性的问题。

    1.1K30发布于 2018-07-24
  • 来自专栏AI派

    NLP模型BERT和经典数据集!

    utm_medium=0725datawhale 数据集现在有SQuAD1.0 和 SQuAD2.0两个版本,适用于不同的研究场景: SQuAD1.0 1.0版本的数据集中包含107,785的问题以及对应的 总结来说,SQuAD是一个主流的抽取式的英语阅读理解数据集。现在大家都在SQuAD2.0上刷榜。 ? 通过上面的榜单可以看到,在SQuAD2.0这个数据集中,前五名的模型获得的效果已经远超人类。 接下来详细说一说在Bert中,如何在SQuAD上解决阅读理解这个问题的。 在原始的Bert任务中,就已经利用SQuAD来做阅读理解任务了。 对于英文的SQuAD数据集,我们的做法和上面一模一样。 那么对于SQuAD2.0数据集来说,这个数据集中有一些没有答案的问题。 ',len(squad_data[1]['paragraphs']),'篇文章') squad_data[1]['paragraphs'][1].keys() context = squad_data

    91850发布于 2021-07-29
  • 来自专栏DeepHub IMBA

    在NLP项目中使用Hugging Face的Datasets 库

    加载数据集 squad_dataset = load_dataset('squad') 这句代码下面发生了什么?? squad_train = load_dataset('squad', split='train') squad_valid = load_dataset('squad', split='validation ') 这会将训练集保存在squad_train中,验证集保存在squad_valid中。 new_column = ["foo"] * len(squad_train) squad_train = squad_train.add_column("new_column", new_column squad_train = squad_train.remove_columns("new_column") 重命名一个列 squad_train = squad_train.rename_column

    3.5K40发布于 2021-07-01
  • 来自专栏磐创AI技术团队的专栏

    transformers示例

    SQuAD1.0上对BERT进行微调 此示例代码在SQuAD1.0数据集上微调BERT。 可以通过以下链接下载SQuAD的数据,并将其保存在$ SQUAD_DIR目录中。 在SQuAD上微调XLNet 此示例代码在SQuAD1.0和SQuAD2.0数据集上微调XLNet。参见上文,下载SQuAD的数据。 SQuAD1.0的命令: export SQUAD_DIR=/path/to/SQUAD python run_squad.py \ --model_type xlnet \ --model_name_or_path --save_steps 5000 SQuAD2.0的命令: export SQUAD_DIR=/path/to/SQUAD python run_squad.py \ --model_type

    1.8K10发布于 2020-03-31
  • 来自专栏机器之心

    CVPR 2023 | 模块化MoE将成为视觉多任务学习基础模型

    为了利用任务之间的关联,作者引入了 Mod-Squad 模型,它是多个专家组成的模块化模型。模型可以灵活优化任务和专家的匹配,针对任务选择部分专家。 图 1.Mod-Squad: 专家和任务互相选择。MoE ViT: 所有专家都被所有任务使用。 下面简单介绍下该文章。 模型结构 图 2.Mod-Squad: 将专家组 (mixture-of-expert) 插入到 Vision Transformer. 最左边的就是 Mod-Squad 的任务使用专家频率。可以看出,Mod-Squad 的任务和专家之间有着更稀疏但尖锐的频率。 图 3. 任务使用不同专家的频率图对比。 实验部分 Mod-Squad 可以在不损失精度的情况下针对单一任务进行剪枝,下图纵轴是性能,横轴是参数量。

    66110编辑于 2023-04-06
  • 来自专栏AI科技评论

    干货 | 第一批在 SQUAD 2.0 上刷榜的 U-NET 模型,它们有何高明之处?

    AI 科技评论按:今年下半年,SQuAD 2.0 横空出世。基于 U-net 的一众模型纷纷获得了优异的成绩(截至到 BERT 屠榜之前)。 「在 SQUAD 上取得好成绩的网络架构是什么样的呢?」 在我开始撰写本文的时候,排名前三位的模型在谷歌上没有任何链接。 U-net 也不例外,采用 U-net 架构是为了针对 Standford 提出 SQuAD 2.0 的目的。Standford 之所以会创建 SQuAD 2.0 是为了修复1.0中的一些缺陷。 SQuAD 1.0 中也有一些无法回答的问题,但它们是由机器生成的,而且对神经网络来说,不需要更深层的理解就很容易识别它们。 由于想要使用一些 SQuAD 2.0 提供的信号信息,他们在这里使用了一个不同的损失函数。从人类生成的「合理的答案文本」中可以获得更多信息。

    91430发布于 2018-12-26
  • 来自专栏悦思悦读

    机器是如何“阅读理解”的?| NLP基础

    不过才一个月后,Facebook基于BERT开发的RoBERTa模型就在SQuAD等多个榜单上实现了反超XLNet的结果。 下图是今天:2020年1月10日SQuAD 2.0数据集的榜单。 【Answer】: within a cloud 【文本样例-1】 什么是SQuAD阅读理解挑战赛 挑战赛 顾名思义,SQuAD机器阅读理解挑战赛,是一个基于SQuAD数据集的文本阅读理解挑战赛。 大家可以直接到其官网获取 https://rajpurkar.github.io/SQuAD-explorer/ 模型:SQuAD的测试集不公开发布。 挑战者使用SQuAD提供的数据训练出自己的模型后,需将模型和源代码提交给SQuAD开放平台 。由平台方在测试集上运行,得出最终结果。 这也就是SQuAD较于之前基于选择题的数据集可贵的地方。

    1.4K20发布于 2020-02-13
  • 来自专栏ShowMeAI研究中心

    斯坦福NLP课程 | 第10讲 - NLP中的问答系统

    问答数据集 3.1 斯坦福问答数据集 (SQuAD) [斯坦福问答数据集 (SQuAD) ] Passage 是来自维基百科的一段文本,系统需要回答问题,在文章中找出答案 <! ----> 1000k 个样本 答案必须是文章中的一系列单词序列 也就是提取式问答 [斯坦福问答数据集 (SQuAD) ] 3.2 SQuAD 评估,v1.1 [SQuAD 评估,v1.1] 作者收集了 v1.1 排行榜,截至2016.12.6] 3.3 SQuAD 2.0 [SQuAD 2.0] SQuAD1.0 的一个缺陷是,段落中所有问题都有答案 系统 (隐式地) 排名候选答案并选择最好的一个, ,任何其他响应的得分都为 0 SQuAD2.0 最简单的系统方法 对于一个 span 是否回答了一个问题有一个阈值评分 或者你可以有第二个确认回答的组件 类似 自然语言推理 或者 答案验证 [SQuAD SQuAD 局限 [SQuAD 局限] SQuAD 也有其他一些关键限制 只有 span-based 答案 (没有 yes / no,计数,隐式的为什么) 问题是看着段落构造的 通常不是真正的信息需求

    87381编辑于 2022-05-12
  • 来自专栏AINLP

    pytorch-pretrained-BERT:BERT PyTorch实现,可加载Google BERT预训练模型

    a token classifier using BERT, for example for the SQuAD task. The second example fine-tunes BERT-Base on the SQuAD question answering task. The data for SQuAD can be downloaded with the following links and should be saved in a $SQUAD_DIR directory . train-v1.1.json dev-v1.1.json evaluate-v1.1.py export SQUAD_DIR=/path/to/SQUADpython run_squad.py \ /debug_squad/

    5.3K00发布于 2019-10-10
  • 来自专栏新智元

    【重磅】机器阅读理解终于超越人类水平!权威竞赛排名中国霸榜,MSRA、阿里、腾讯前二

    SQuAD:机器阅读理解界的ImageNet 做机器阅读理解研究的学者,想必对由斯坦福大学自然语言计算组发起的SQuAD(Stanford Question Answering Dataset)文本理解挑战赛并不陌生 在配套的500多篇文章中,有超过10万个问题,SQuAD显着大于以前的阅读理解数据集。 那么,SQuAD机器阅读理解挑战赛是怎样进行的呢? SQuAD通过众包的方式构建了一个大规模的机器阅读理解数据集(包含10万个问题)。 SQuAD向参赛者提供训练集用于模型训练,以及一个规模较小的数据集作为开发集,用于模型的测试和调优。 这个模型在SQuAD和MS-MARCO数据集上进行了广泛的实验,在两个数据集上都取得了很好的结果。

    1K60发布于 2018-03-20
  • 来自专栏Python深度学习

    使用Python实现深度学习模型:自然语言理解与问答系统

    以下是训练模型的代码: from transformers import squad_convert_examples_to_features from transformers.data.processors.squad import SquadV2Processor # 加载SQuAD数据集 processor = SquadV2Processor() examples = processor.get_train_examples ('path_to_squad_data') # 将数据转换为模型输入格式 features, dataset = squad_convert_examples_to_features( examples 以下是评估模型的代码: # 加载SQuAD测试数据集 examples = processor.get_dev_examples('path_to_squad_data') # 将数据转换为模型输入格式 features, dataset = squad_convert_examples_to_features( examples=examples, tokenizer=tokenizer

    55810编辑于 2024-07-23
领券