跳至主内容
研究论文

关于将审稿人最优分配给“你认识的人写的论文”

I3E TCPR· 卷 1 , 期 1 · 页码 14-24 ·
DOI: 10.I3E/tcpr.2026.00134 已复制!
3 引用量 检查访问权限

编辑摘要

本文由两位作者私下认识的研究者评审。一位审稿人称论文“有些问题”,但建议接收;另一位在未读过摘要之后内容的情况下建议接收。编辑部认为可以接受。

摘要

同行评审是科学共同体认证质量、分配声望,以及正如本文所示,奖励职业关系的机制。我们分析了 12 个 venue、6 年期的审稿分配数据,并与学术谱系和合著网络交叉比对。结果显示:若你与 area chair 合著过论文,你被分配为某稿件审稿人的概率提升 340%;若你与投稿作者师出同门,提升 520%;若你在过去 24 个月内参加过同一场 workshop 晚宴,提升 71%。我们将其称为“你认识谁效应(who-you-know effect)”,并建议有人去解决它。

正文

引言

理想中的同行评审人应当是无利益冲突的领域专家,纯粹按科学价值评估投稿。现实中的审稿人往往是博后或青年教师,他们从自己认识的 area chair 那里接到审稿请求,在一个“人人都认识人人”的子领域里,以一种让仔细阅读变成奢侈品的节奏完成评审。我们研究这种条件是否会产生无偏结果。

我们通过公开来源、一份产出 400 页大面积涂黑文件的信息公开申请,以及一位在会议晚宴后匿名向我们提供 area chair 报告的 program chair,获取了审稿分配数据。最终数据集覆盖 12 个 venue、6 年、48,000 份投稿和 143,000 次审稿分配。

我们将该数据集与 Academic Genealogy Network(AcGen,导师-学生关系图)、Semantic Scholar 合著图,以及一位作者在 4 年内参加 23 个 venue 后精疲力尽整理出来的会议社交活动数据集进行交叉比对。

结果

我们使用 logistic 回归建模审稿分配概率,其特征来自审稿人与投稿作者在三张网络中的社交距离。在全部三张网络中,分配概率都与社交距离显著负相关:审稿人更可能被分配给与自己在学术社交图上更近的人所写的论文。

最强预测因子是“共同导师”:若与任一投稿作者拥有相同博士导师,审稿分配概率增加 520%(OR = 6.2, 95% CI [4.8, 8.0])。过去三年内合著关系带来 340% 增幅(OR = 4.4)。共同参加 workshop 晚宴带来 71% 增幅,相关 area chair 在联合声明(见附录 B)中将其称为“巧合”。

更重要的是,由评审文本推断的审稿语气也与社交接近度相关。来自近网络审稿人的评审,建议接收的概率高 2.3 倍,而将论文描述为“根本性缺陷”的概率低 4.1 倍。在我们的语料中,这一措辞只出现在社交距离大于 4 跳的审稿人中。

讨论

我们需要明确:本文并不指控存在故意不端。Program chair 在分配审稿人时并不会先查学术谱系树。我们真正指出的是,在小型研究共同体中,“专业性”与“社交接近性”混杂得过于彻底,以至于任何仅按专业性运作的分配流程都无法避免“你认识谁效应”。若要解决(假设存在解决方案),就必须有意从投稿作者社交网络之外分配审稿人;这意味着分配给对主题了解更少的人;也意味着接受更差的评审质量。这才是真正的权衡,我们建议共同体公开讨论它。

References

  1. Bias, B., & Review, R. (2023). “双盲评审:仍未解决它最初要解决的问题。” 结构性乐观期刊, 5(1), pp. 1-18.
  2. Genealogy, A. (2024). “NLP 里的每个人距离其他人都只差六次合著。” 小世界会议论文集, pp. 100-108.
  3. Dinner, D., et al. (2022). “宴会效应:会议社交中的社交接近度可预测评审结果。” 科学中的社会动力学, 3(2), pp. 33-49.
  4. Hypothesis, N. (2026). “本文由 N. Hypothesis 评审。” I3E 循环同行评审汇刊, 1(1), pp. 25-25.

作者单位

1. Peer Review Integrity Lab, Department of Conflict-of-Interest Studies

参考文献

电子来信