目录
Project ProtoStar旨在让公共资金资助的数据集、模型和代码更容易被发现并复用于AI研究。这项于2026年10月29日公布的计划,将从11月2日启动的卡内基梅隆大学气候挑战赛开始。
要点#
- ProtoStar是一项由大学、研究机构和Hugging Face合作开展的计划,以人和软件均可复用的形式发布科研资源。
- 首场挑战赛将于2026年11月2日至13日举行,使用美国210座城市的历史气象数据。
- 参赛者将预测4项气候指标,并将结果与历史平均值和线性趋势进行比较。
- 最终预测结果计划在2026年气象记录全部齐备后,于2027年初公布。
ProtoStar将改变什么#
向公众开放,并不意味着资源就能真正得到复用。即使数据集已上线,也可能缺少解读所需的说明文档、来源记录或一致的结构。代码和模型如果输入要求或依赖关系不明确,也会难以使用。
ProtoStar通过帮助各方在开放平台上,以AI可用、机器可处理的格式发布合适的科研资源,来弥合这一差距。随后,通过公开挑战赛,检验人们能否发现、组合和扩展这些资源,并将其用于有价值的研究。
创始合作伙伴包括通过Open Forum for AI参与的卡内基梅隆大学、普渡大学、佐治亚理工学院、亚利桑那州立大学和乔治·华盛顿大学。Astera Institute、Hugging Face和Open Research Community Accelerator也参与其中,Hugging Face提供基础设施,ORCA担任社区合作伙伴。
如何验证复用#
每场挑战赛都将围绕参与机构发布的资源展开。目标是在验证科研复用的同时,找出文档不足、格式不兼容、数据解读存在不确定性等妨碍复用的问题。
据公告介绍,Hugging Face在主要科学领域提供超过17,000个公开数据集,若计入医学和数学,则接近29,000个。公告还称,文档完善的数据集占数据集下载量的90%。这些数字表明使用活跃,但不能证明文档是使用量增长的唯一原因。
因此,ProtoStar的有益成果不应局限于获奖作品。哪些资源可以复用、哪些需要修正、哪些因素妨碍了资源的成功组合,这些证据将帮助各机构改进今后的资源发布。这项计划提出了这些目标,但成效尚未得到验证。
首场气候挑战赛#
CMU的Climate Risk Intelligence挑战赛要求参赛者使用截至2018年的气象记录,预测美国210座城市2019年至2026年的观测值。这可以检验对历史时期的预测精度,但对最后一年的评估需要完整记录。
参赛者将预测以下4项指标。
- 年平均气温。
- 年总降水量。
- 一年中最热的一天。
- 制冷度日,即与制冷需求相关的指标。
预测结果将与历史平均值、线性趋势等简单统计基线进行比较。各团队还需提出一份基于分析的简要气候适应方案。预测误差将在公开排行榜上评估,政策方案则单独评审。各团队须将成果作为Hugging Face数据集提交。
参赛者应确认的事项#
选择模型前,请查看已发布的挑战赛规则。确认数据集结构、必交内容、评估指标及额外数据的使用规则。仅凭公告,尚无足够细节判断这些要求。
实际准备步骤如下。
1. 按城市、年份和目标指标检查数据覆盖范围及缺失值。 2. 尝试复杂方法前,先复现指定的统计基线。 3. 遵守挑战赛规则,不将评估期的观测值用于模型开发。 4. 记录方法,并将政策建议与具体分析结果相联系。
解读结果时,请考虑其局限性。较小的预测误差可以支持模型在本任务中的表现,但仅凭这一点,无法证明模型能改善城市规划。同样,采纳政策建议也需要排行榜分数以外的依据。最终预测结果预计于2027年初公布,因此在此之前进行评估时,应明确说明哪些观测值已经可用。
下一步#
请于2026年11月2日访问CMU Climate Risk Intelligence Challenge页面,在准备数据集前确认提交要求。
来源: https://huggingface.co/blog/announcing-project-protostar
目录
