全新科学数据平台亮相WAIC2024 夯实大模型基础设施

发布时间:2024-11-18 16:26:40 来源: sp20241118

   中新网 上海7月5日电 (记者 陈静)记者5日获悉,正在上海举行的2024世界人工智能大会(WAIC2024)上,由上海科学智能研究院(简称:上智院)主导开发的全新科学数据平台正式发布,为探索复杂科学场景提供新线索和新假设。

  以科学数据平台为核心的全球科学数据生态联盟同期启动,首批联盟成员单位包括多地多家科技企业、医疗机构、高校及科研院所。

  据了解,在科学大模型中,数据的质量和规模是决定模型效果的关键。当前,海外的科学数据库非常重视科学数据的整合范围、数据质量以及对历史数据的整理与汇集。然而,由于建设时间短、基础设施缺乏,现有科学数据库仍普遍存在规模小、质量参差不齐、数据不互通等问题。

  为此,上智院主导建设了一套涵盖多模态科学数据的科学数据平台,具备从数据采集、加工到管理和建模的全链路能力,保证数据的高效加工、可信和安全互通。基于分布式并行计算,该平台将数据处理效率提升了10倍,通过制定安全互通规范、开发数据安全工具以及全流程记录和溯源数据操作行为,实现了数据互通有规可循、有器可用、有迹可查。

  据悉,基于这一科学数据平台,上智院与合作伙伴构建了面向生命科学、物质科学、大气科学等领域的多个高质量科学数据集:面向生命科学的siRNAOD3数据集、面向物质科学的QO2Mol数据集和面向大气科学的FMWF数据集。

  其中,面向大气科学的FMWF数据集由在欧洲中期天气预报中心评估中表现优异的伏羲中期天气预报大模型产生,提供了2021-2023年每日2次的未来15天预测数据,包含地面和高空多个气象要素,总数据量超过2TB。(完) 【编辑:刘阳禾】