MolecularIQ 57.26 分意味着什么：科学大模型评测成绩单阅读指南

MolecularIQ 57.26 分意味着什么科学大模型评测成绩单阅读指南【免费下载链接】Intern-S2-397B项目地址: https://ai.gitcode.com/InternLM/Intern-S2-397B2026 年 WAIC 上上海人工智能实验室发布科学智能体基座 Intern-S2-397B随之流传开来的一个数字是MolecularIQ 57.26 分超过 Gemini-3.1-Pro。对大多数读者来说这个分数像一份看不懂的成绩单——MolecularIQ 是什么57.26 在什么尺度上有意义超过一个闭源旗舰又意味着什么本文不打算复述发布稿而是做三件事把 MolecularIQ、SciCode、SWE-bench-Multilingual 这类科学评测放进同一张能力地图里定位解释为什么在科学场景下任务完成率比文本流畅度更值得信任最后结合 Intern-S2-397B 的本地仓库README.md、config.json、tokenization_interns1.py给出一份可复用的科学模型评测清单。读完之后你不仅能读懂这张成绩单还能自己动手复验它。一、从 MolecularIQ、SciCode 到 SWE-bench-Multilingual指标地图先回答最基础的问题57.26 分是哪来的MolecularIQ 是一个面向分子科学推理与设计的评测基准题目覆盖分子性质问答、反应推断、结构-性质关联等任务要求模型输出符合化学事实的答案。57.26 是 Intern-S2-397B 在该基准上的得分社区报道显示它越过了 Gemini-3.1-Pro 的同项成绩。这意味着一个开源模型在分子智能这条细分赛道上达到了当前闭源第一梯队的水准——注意是分子智能不是通用智能。要读懂这类分数必须把它们放进指标地图。科学大模型评测大致分四层分子/材料层MolecularIQ分子推理、材料晶体结构生成坐标回归、通过率。衡量模型是否真的理解化学语法与晶体物理而不是说得像。科学编程层SciCode 等。给一段科研场景描述要求写出可运行的数值求解代码以能否跑通并得到合理结果计分。工程智能体层SWE-bench-Multilingual。跨语言的真实软件仓库 issue 修复是科学工作流自动化的工程侧预演——科研管线本质上也是一串软件调用。通用与多模态层README 中明确说明官方使用 OpenCompass、VLMEvalKit、AgentCompass 三套工具评测全部模型文本推理基准在最长 256K token 下评估多模态基准在 64K token 下评估。把这四层叠起来57.26 的坐标就清楚了它是分子智能这一格的成绩不能外推成模型全能。但同时Intern-S2-397B 在材料结构生成上通过率超过 40%社区报道称显著优于 GPT-5.5并首次在开源通用大模型中实现晶体结构生成——这类通过率指标才是科学模型评测的核心计量单位。仓库层面的证据也支撑科学能力是被刻意训练出来的这一判断。翻看 config.json512 个专家、每 token 激活 10 个、60 层中每 4 层插入一个 full attention 的混合线性注意力架构而 tokenization_interns1.py 中实现了三个独立的科学序列自动检测模块——SmilesCheckModule用 RDKit 校验分子式合法性、ProtCheckModule蛋白质序列、XnaCheckModuleDNA/RNA 序列对应 tokenizer_config.json 里offset_SMILES: 248102、offset_PROT: 249126、offset_XNA: 250150三个专用子词表。也就是说模型在分词阶段就把分子、蛋白、核酸当作母语处理MolecularIQ 的高分不是通用模型顺带答对的结果而是科学 tokenizer 与跨 20 领域的多任务强化学习共同作用的结构性产出。二、为什么任务完成率比文本流畅度更该被信通用大模型的评测常以生成的文本像不像标准答案打分类似度科学模型评测则走了另一条路结果可复核、任务可判定。社区对该模型评测路径的共识是以任务完成率而非文本流畅度作为效果判断标准重点关注四项能力——任务规划、工具调用正确性、自我修正能力、输出可复核性。这条原则值得展开。原因有三第一科学答案存在客观判据。分子生成可以用 RDKit 解析验证见 tokenization_interns1.py 中check_legitimacy_slowChem.MolFromSmiles(candidate)失败即判负晶体结构生成可以算空间群对称性与键长键角误差SciCode 代码可以真实执行。流畅但错误的分子式在评测中得 0 分——完成率因此比相似度多了一个维度诚实性。一个模型可以靠语言流畅度骗过 LLM-as-judge但骗不过解析器。第二科学任务本质上是智能体任务。论文阅读、数据检索、软件调用、结果复核是一条长链。Intern-S2-397B 默认开启思考模式README 建议 agentic 任务不要关闭chat_template.jinja 中定义了完整的tool_call/function.../tool_response工具调用协议官方在 LMDeploy 部署时要求挂载--tool-call-parser interns2-preview才能正确解析工具调用。这意味着评测一个科学模型本质上是在评测它能不能把任务闭环做完而非它会不会造句。工具调用格式是否正确、参数是否齐全、失败后能否自我修正——这些完成率指标直接对应真实科研自动化管线里的故障率。第三完成率指标能撕开参数幻觉。社区流传的对照实验中35B 的 Intern-S2-Preview 已在数学等复杂基准上追平万亿级 Intern-S1-Pro而 397B 版在此基础上进一步。当小模型完成率反超巨模型成为常态时文本流畅度这类软指标已经无法区分模型只有任务完成率这类硬指标能给出可仲裁的排序。这也是为什么评测报告里分子通过率、结构生成通过率、SWE-bench-Multilingual 修复率这些数字比任何更像人类的主观评分都更有传播价值——它们可以被任何人复现验证。三、给读者一份可复用的科学模型评测清单如果你打算把某个科学大模型接进自己的科研管线直接照抄发布会的分数没有意义——评测环境不同、任务分布不同、甚至采样参数不同分数都可能漂移。下面这份清单是从 Intern-S2-397B 仓库与社区评测实践中提取的最小验证集五个维度缺一不可1. 语义真实性分子/序列层准备 50 条带标准答案的 SMILES 与蛋白序列任务用解析器RDKit 或规则校验对应 tokenization_interns1.py 的SmilesCheckModule判定输出合法性记录合法率与正确率。这一步筛掉会背格式但不懂化学的模型。2. 任务闭环率智能体层搭一个最小工具环境文件读写 代码执行 检索 API构造 20 个多步任务统计规划正确率、工具调用格式合法率用--tool-call-parser对应的解析器校验、一次通过率与自我修正后通过率。重点观察模型在max_tokens耗尽、工具返回报错时的行为——这是科研智能体与聊天机器人的分水岭。3. 可复核输出数值层科学输出必须有误差可查时间序列任务给出预测点与分位数README 中ts_forecast的point_forecast/quantile_forecast地震事件检测必须给出 P 波、S 波的起始索引。检查模型是否愿意输出结构化可解析结果而非冗长散文——Intern-S2-397B 在 README.md 的时间序列 demo 中即要求返回精确时间点索引这是评测可复核性的现成模板。4. 长上下文与长程一致性科学文献理解动辄数万字。用 128K 以上的材料提问检查模型是否还能定位前文事实仓库支持 256K 原生上下文经 YaRN 配置可扩展至 512K 乃至 1M详见 deployment_guide.md 的--session-len 512000与 rope 参数。对长程 agent 任务官方还明确建议保持思考模式开启。5. 推理成本与吞吐完成率再高跑不动也是零。用 LMDeploy/vLLM/SGLang 三套方案deployment_guide.md 提供了完整的 MTP 推测解码参数实测输出吞吐社区在 8×H200 SGLang 环境下测得开启 MTP 后输出 16000 token 时长输出吞吐提升约 97.5%、延迟显著下降。评测时把单位成本下的任务完成数作为最终指标而非单看绝对分数。最后提醒一句阅读任何科学模型成绩单先回答三个问题——这个基准测的是哪一层能力满分多少、基线是谁模型是在什么推理长度和采样配置下拿到的分数Intern-S2-397B 的官方采样建议是temperature0.8, top_p0.95, top_k50, min_p0.0README.md评测与生产环境参数不一致时成绩单的可迁移性就要打折扣。MolecularIQ 57.26 是一个信号开源科学模型第一次在分子智能赛道上与闭源旗舰同场竞技但它只是一格坐标不是整个地图。真正的判断要等你把上面五维清单在自己的数据上跑完再说。【免费下载链接】Intern-S2-397B项目地址: https://ai.gitcode.com/InternLM/Intern-S2-397B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考