Attention Is All You Need(但经费也得有):一项回顾
我们重访奠基性的注意力机制,并发现事后看来它最需要的可能是更好的公关策略。
我们重访奠基性的注意力机制,并发现事后看来它最需要的可能是更好的公关策略。
我们提出首个对先验知识要求为零的 Transformer 解释方案,并且它对后验知识的产出可能也同样接近零。
我们汇编了 847 项失败实验,并按作者事后哭得有多厉害进行分组。
我们将 LLM 幻觉分为 23 类,其中几类是在写相关工作部分时现场发现的。
对 10,000 份投稿的分析显示,论文被拒的理由往往既随意,又带有强烈个人色彩。
我们证明 94% 的热门基准测试包含自 2021 年起就已出现在 LLM 训练集中的测试数据。
我们核验目标期刊论文中 3,200 条作者机构信息的物理存在性,发现其中 8.7% 对应的机构无法定位、无法确认,或在三个案例中连拼写都前后不一致。
我们分析社会与行为科学中已发表的 6,400 个 p 值,在 p = 0.05 附近发现明显断裂,其形态与选择性报告、可选停止以及我们委婉称为“取整实践”的行为一致。
我们向 400 篇声称“数据可按请求提供”的论文索取数据,只有 3.5% 获得可用数据;响应时间中位数为“永不”。
我们将同行评审建模为社交图问题,并证明顶级 venue 的审稿分配实践与在导师谱系树上做随机游走几乎无法区分。
我们整理了 47 本研究生教材中被标注为“超出本章范围”的 312 个主题,并发现其中 78% 会在从业者入职第一年内频繁遇到。
我们开展了首个大规模计算机论文摘要膨胀研究,发现摘要中的主张强度平均比结果部分实际支持的结论高 4.7 倍。