目录
LitPivot将草稿的各个部分与相关论文、有据可依的评议和修改建议关联起来,帮助研究者修订研究计划。报告中最可靠的成果是,研究者能更好地利用文献论证研究想法的合理性。新颖性的提升则仅限于参与者的自我评价。
要点#
- LitPivot参照研究者选定的文献,审视研究计划中的问题、拟议贡献和评估计划。
- 修改建议附有作为依据的摘录,研究者可以选择采纳、编辑或拒绝。
- 在一项涉及17名研究者的研究中,独立专家认为,使用LitPivot制定的研究计划比对照条件下的计划有更充分的相关文献支持。
- 结果支持使用LitPivot改进研究计划,但并未证明它能产生客观上具有新颖性的研究或成功的研究。
LitPivot带来的改变#
阅读论文可能促使研究者缩小主张范围、改变评估方法,或重新思考整个贡献。LitPivot让这一修订过程变得清晰:选中研究计划的一部分,选择应参考的论文,查看评议,然后修改。
该系统由Ai2与宾夕法尼亚大学的合作者共同开发,通过Asta Paper Finder搜索论文。论文会根据当前正在编辑的研究计划部分进行整理。例如,选中评估计划后,就可以关注按评估方法分组的论文。
它的实用之处在于,可以随想法的变化调整参考文献。研究者可以同时掌握研究计划及其评估依据,而不必始终将最初收集的论文视为相关文献。
工作流程#
LitPivot将草稿分为问题陈述、拟议贡献和评估计划。每个部分都有各自的文献排序和评估角度。工作流程包括以下4个阶段。
1. 撰写并选择。 撰写简短的研究计划,启用按角度高亮显示的功能,选择希望评估的部分。 2. 选择依据。 查看相关论文分组,选择应作为评估参考的研究。 3. 查看修改建议。 请求评估,阅读评议及作为依据的摘录,采纳、编辑或拒绝建议文本。 4. 检查影响。 查看被标记为可能存在不一致的部分,并根据研究计划的变化更新文献排序。
评估内容因所选部分而异。对于问题陈述,系统会寻找证明该问题存在且重要的依据。对于贡献,系统会将现有研究与已报告的局限或未解决的问题进行比较。对于评估计划,系统会检查拟议的验证能否回答研究问题,以及相关研究如何评估类似工作。
一次有益转向的示例#
一名参与者最初计划生成前后一致、符合事实的合成病历。LitPivot指出,在所选文献中,多次就诊之间的一致性可能仍是未解决的问题。
随后,研究者查看了摘要,排除了聚焦单次就诊记录的论文。经过重新评估,计划转向检测多次就诊记录之间的矛盾。
这个例子展示了一种实用用法:一边重新审视纳入比较的论文,一边将宽泛的目标转化为更具体的研究问题。但它并不能证明,该问题相对于全部已发表研究具有新颖性。
现有证据支持什么#
在一项实验室研究中,17名研究者各自使用LitPivot完善一个分配到的想法,并在由文本编辑器和可回答所选论文相关问题的AI工具组成的对照条件下完善另一个想法。两种条件使用相同的论文集。两名领域专家在不知道各计划由哪个系统生成的情况下,评估了计划在多大程度上利用相关文献来支持想法并论证其合理性。使用LitPivot制定的计划获得了更高评价。
参与者报告称,他们对相关文献的理解有所加深,主观感知的新颖性和实用性也有更大提升。这些判断应与专家评价分开看待。专家评估的是文献支持程度,并未独立验证新颖性。
在后续研究中,5名研究者分别在进行中的项目上使用了30分钟LitPivot。其中2人探索了新想法,其余人则改进了已较为成熟的研究计划。这表明它可能也适用于初期构思之外的阶段,但研究规模较小,对长期研究成果的影响尚不明确。
仍需判断的方面#
评估取决于检索到并被选中的论文。如果遗漏了相关研究,就可能无法充分检验新颖性主张。在所选论文集中发现的未解决问题,是值得进一步调查的候选方向,而非无人涉足的证据。
作为依据的摘录有助于审视评议,但研究者仍需核查其上下文。关于局限或未来工作的表述,并不能直接证明新项目的合理性。拟议问题还需要具备意义和可行性。
现有报告尚未说明公开发布及使用方式的细节,也未明确LitPivot是否能改善最终论文或研究成果。计划使用前,应先确认其可用情况,并根据证据而非文字是否流畅来判断修改建议。
下一步#
从当前研究计划中选出一项关于贡献的主张,与两篇密切相关的论文进行比较。记录每篇论文已经解决的问题,以及支持仍存未解决问题的依据。
来源: https://huggingface.co/blog/allenai/litpivot
目录
