后维/博客/博客帖子

开放科学

负责任地评估研究的未来

作者|意见|研究人员
负责任地评估研究的未来

关于发布研究的决定往往受到差别指标的压力蒙蔽的云。Sam Rose,来自Lis-Bibliometrics的Hindawi报告的出版商,会议的重点是转移到负责任的指标和适当的研究评估。


几个星期前,在会议上取消之前,在会议上取消之前,我们大多数人开始在家工作,我参加了年度会议Lis-Bibliometrics.,在3月初在利兹大学(英国)举行。会议主要针对在研究评估和分析中工作的图书馆员和大学员工,也有来自整个行业的代表和利益相关者。我感到乐观地对负责任指标的未来,并与研究人员和同行合作,以提出替代开放度量,作为我们对开放科学的承诺的一部分。

我特别兴奋,以满足一群代表,以共同兴趣向生产性指标和远离影响因素,以及一般练习更多开放原则。我最喜欢的当天的流行语是“负责任的指标”和“负责的研究评估”。与他们的机构的角色会议与会者,如“负责任的研究评估官员”,向我展示了图书馆员劳动力的这一运动的重要性以及我认为现在是持续承诺推动它的持续承诺。

研究评估(Dora)宣言,目的是停止使用影响因素来评估研究人员的个人贡献,当然是在每个人的议程的最重要内容。Hindawi是Dora签字人,并重视所有不同类型的指标,用于测量主要文献的范围。对我来说,参加不同大学之间的讨论特别有趣,所有这些都是在多拉实施的不同阶段,其中许多人面临着从其机构内部其他部门获得支持的挑战,以实现这一变化。它令人振奋的是,看到和听到卡迪夫大学,肯特大学的激情,以及南安普顿大学,他是多拉的倡导者,每个都旨在推动他们的研究机构的变化。

最近的Dora Sigeees特别需要其他机构的支持和指导,而不是在与这些激情倡导者分享他们的经历的LSE-BiblioMetrics会议上做出了更好的地方。

全天推动讨论是Elizabeth Gadd(Loughborough大学,英国Loughborough University的开幕式讲话),他提出了她预计2030年的五个预测:

  1. 额外而不是替代评估方法;没有一个公制。

  2. 资助者将对负责任的研究评估产生更大的影响。

  3. 接下来的接下来是一个基于度量的茎的系统。

  4. 学位不能通过期刊出版社自行资助的社会将在研究评估中发挥作用。

  5. 在书尖测量学中的复杂性更大,包括不同的输出类型(例如预印,替代含量)。

我为了一个人希望,对于至少一些上述一些人来说,我们在2030岁时获得那里,并且知道后边将积极参与他们前进的讨论。特别是(与[2]和[4]相关),我相信这是资助者和学识渊博的社会在研究评估中采取领先的时间,改变了对科学进步和社会更好的方式。这将允许与自己的出版商进行更大的互动,并可以帮助开放的公开科学。

继续这个Open Metrics的主题,英国研究英格兰主任Steven Hill博士讨论了有助于重塑研究评估的趋势。他坚定地认为,事情变得更加开放和协作。他解释说,更广泛的产出类型,并且应该由身体进行评估研究,特别是在文章中的相互作用,而不是静态输出。是否分析了CITATIONS的复杂和更大的数据集(因此元数据后面的元数据)将有助于给出尚未看到的文章的更全面的照片 - 也许这是新服务的诸如新服务的地方冒险在评估引用的影响方面将变得更加有用。

除了Scite,博士博士展示了使用AI的其他新工具,这有可能彻底改变研究评估。其中一个工具无人物现在被一些出版商使用到分类提交的论文,后者目前正在积极讨论他们,看看这个新工具如何帮助我们自己的同行评审过程。可以更重要的是,正在开发同行评审员机器人。虽然这种使用机器人可能会对许多研究人员感到恐惧,但该技术可以帮助解决学术通信中最大的问题 - 学术界可用的时间,以便随着科学产出的数量继续促进同行审查过程。增加。请记住,除了人类之外,只有一个机器人,可以在同行评审中提供50%的效率,并大大减少了现有审稿池的负担。如果该工具显示工作,我认为我们中的任何人都不应该在我们更详细地调查它之前解除AI的使用。

From a publisher’s perspective, it was great to hear institutions spreading the message that researchers should publish their work where it will be read by the most appropriate audience and this should take priority over metrics and will become a much more supportive message than “publish in high impact journals”. It is a clear U-turn away from the current system, which rewards researchers based on the Impact Factors of journals they publish in, not only using a largely irrelevant metric as the primary focus (and in some cases sole focus) of evaluation, but also opening the process to misuse and abuse.

在一天的过程中(其中一个完整的视频录制在此处提供),很明显对代表之间的负责指标未来的主要担忧是,出版商和商业供应商将锁定机构和特定的数据集 - 开放的科学将抵御的东西 - 我们可能都可能过于抵抗变革(even if change is something we’ve all agreed too) and that the major funders need to invest in tools and analytics to drive the change from their side (much the same way funders have driven open access).

当然,这些假设是负责任的,通过对观众的投票确认为他们所面临的最大挑战。对我来说很明显,研究机构希望供应商在这方面领导道路。然而,在研究生命周期内的所有利益相关者都有共同的兴趣是谈话的一部分,我们在后世迫不及待地继续推动前进的替代开放度量的角色,作为我们对开放科学的承诺的一部分。


此博客帖子分布在Creative Commons归因许可证(CC-by)。插图是由Hindawi,也是CC-by。

我们致力于尽可能快地分享与Covid-19相关的结果。我们将为已接受的研究文章提供无限的出版费用豁免,以及与Covid-19相关的报告和案例系列。评论文章被排除在此豁免政策之外。在此注册作为评论员,帮助快速跟踪新的提交。