今晚 Anthropic 要在纳斯达克敲钟,代码 ANT,发行价 83 美元。上周它刚发了 Claude Fable 5.2,这几天不管打开哪个群,聊的都是它写代码又强了多少,这个模型的定价贵不贵。

封面|图片来自 Anthropic 官网。

APPSO 是昨天在 Hacker News 首页刷到这篇博客的。它不聊代码,也不聊股价,标题就一句话,「Claude was trained on protein sequences at scale」。翻译过来意思是,Claude 在训练的时候大量读过蛋白质序列。

帖子 165 分,71 条评论,在那天的首页上不算最热,可点进去看了一番,我们觉得它比上市本身有意思。

飞书文档 - 图片

作者 Xinming Tu 的履历有点意思,本科在北大,生物和计算机一起读的,后来去华盛顿大学读计算机博士,今年是最后一年。

他平时的工作就是出题考 AI,考的都是生物领域的内容。和他一起做的 Leo Tianlai Chen 在哈佛医学院。

他们做的事 APPSO 用一句话可以大致概括。

去数据库里翻一批压根没人研究过的蛋白质,只给开头,让 22 个模型往下接。

而能接得上的只有 Claude。

飞书文档 - 图片

一道绕开论文的题,考出了什么?

起因是 GPT 这类模型最近在蛋白质题目上分数不低。

有人拿 GPT-6 Astra 给一种叫 SOD1 的蛋白质的变体排序,结果和专门的蛋白质模型 ESM-2 差不多。Xinming Tu 想知道这分数是怎么来的,是模型真读过 UniProt 这样的蛋白质数据库,还是只读过论文里讲蛋白质的那些文字。

蛋白质是 20 种氨基酸连成的一条长链,每种氨基酸用一个字母代表,所以一条蛋白质写下来就是一长串字母,比如 MRSGGQPLHPQ 这样往下排,少则一百多个,多的话要好几百个。

拿有名的蛋白质出题测不出来。绿色荧光蛋白 GFP 的序列在无数论文里印过,他在博客里写,大多数前沿模型都能把它背出来。

飞书文档 - 图片

于是他专挑没人写的,从细菌和古菌里选了 668 条,分属 167 个连功能都还不知道的蛋白家族。每个家族都没有解析过的结构,论文最多 3 篇,其中 128 个家族一篇都没有。

飞书文档 - 图片

题目是这样出的。把一条蛋白质从中间切开,前半段发给模型,附一句话,「预测它怎么往下接。只回复接下来的 10 个氨基酸,用单字母代码写在一行里,别的都不要。」然后只看第一个字母对不对。每条蛋白质切 5 个位置,一共 3340 道题。

光这样还不行。

20 种氨基酸出现的频率本来就不一样,模型哪怕完全不认识这条蛋白质,照着前面的字母比例瞎猜也能蒙中一些。

所以同一条蛋白质他还要再问一遍,这次把字母顺序全部打乱。字母一个没少,顺序没了,只会蒙的模型两次得分应该一样。

两次测试之间的差值,才是它真认识这条序列的部分。

飞书文档 - 图片

先看 Claude。Fable 5.2 拿到真序列,下一个字母能猜对 54%,一半多一点。同一条序列打乱了再给它,只剩 9%。Opus 5.5 弱一截,真序列 34.9%,打乱后 7.5%。

20 种氨基酸里纯蒙一个,命中率是 5%。打乱后猜对的 9% 和 7.5% 比纯蒙高不了多少。

可真序列能猜对 54% 就完全是另一回事了。

博客里把这两次的差当成模型对序列的了解程度,Fable 5.2 是 45.1 个百分点,Opus 5.5 是 27.4。后面所有的比较,用的都是这个差值。

它还不只是猜对下一个字母。题目让它一口气往下写 10 个,Fable 5.2 有 88 回把这 10 个字母全写对了。换成打乱的序列,这种事一回都没发生过。

这说明 Fable 是真的会这类问题,而不是瞎猫碰死耗子。

其他家呢?他在图里把 22 个模型从上到下排了一列,Claude 以外的点全挤在零旁边。GPT-6.2 Sol 是 2.4,已经算高的,Gemini 4 Carbon 只有 0.9。

国产的几个里 Qwen 3.8 最高,1.9,DeepSeek V4.1 Flash 是 1.4,Kimi 和 GLM 都是 1.2。

飞书文档 - 图片

通用模型赢了生物专用 AI

有意思的是,Claude 自己也不是最开始就会预测蛋白质序列。

前些年 Opus 4.5 和 4.6 的差值是 1.9 和 0.9,跟别家基本没啥区别。

Opus 4.7 那一代模型看起来像是梦开始的地方,指标突然变成 8.9 了,之后就开始猛涨。

之后 Fable 5.1 到 14.9,Opus 5.5 直接翻倍干到 27.4,Fable 5.2 几乎再翻一倍,到 45.1。

飞书文档 - 图片

如果只是碰巧读到过几条序列,不会这样一级一级往上走。APPSO 更愿意相信的解释是,Anthropic 每做一代新模型,都往训练数据里多放了一些蛋白质相关的数据。

用来和 Claude 作比较的还有生物圈自己的工具。

研究蛋白质的人平时用一种叫蛋白质语言模型的东西,它只用这种蛋白质序列进行训练,一句人话都不会说。

Xinming Tu 找了他能跑起来的最强的两个。ProGen3-3B 的差值是 32.5,ProtGPT3-10B 有 100 亿参数,是公开的里面最大的,27.7。Opus 5.5 跟后者几乎一样,Fable 5.2 则比两个都高出十几个百分点。

飞书文档 - 图片

Claude 平时在帮人写软件、做科研的同时,顺带把蛋白质序列这门课也修了,分数还更高。

专用模型靠的就是只读序列这一手,现在通用模型把这部分能力也吃进去了...

这个结果会有别的解释吗?博主一条一条试过。

会不会是从论文里看来的?那 128 个一篇论文都没有的家族,Fable 5.2 的差值是 45.9,比全部家族的 45.1 还高一点。

会不会是现场推出来的?可接口记录显示,Fable 5.2 只有 9% 的回答动用了思考,没思考的那些正确率是 54.7%,思考过的反而只有 48.2%。

还有一条线索来自数据库。同一类蛋白质在数据库里收录得越多,Claude 就接得越准。只收了几十条的小家族,它接得一般。收到三百条上下,Fable 5.2 的成绩基本就到头了,再多了也涨不动。只读序列的专用模型也是这个规律。GPT 和 Gemini 不管家族大小,一直贴着零。

飞书文档 - 图片

 Leo Tianlai Chen 提供了一组很有洞察力的实验数据,APPSO 认为这组实验结果非常有价值。

他找来 56 条今年 8 月 2 日到 27 日才第一次公开的蛋白质,和此前数据库里任何一条的相似度都不到一半。

Fable 5.2 在这批新蛋白质上的差值是 22.1,两款专用模型是 12.0 和 6.7,GPT-6.2 Sol 是 −0.4。

作者自己也说,这组数据有两个短板。样本太少,只有 56 条。另外,他们并不确切知道 Claude 的训练数据截止在哪一天,7 月 1 日是他们估的。要是实际截止得更晚,这批 8 月才公开的蛋白质,就不能算它没见过了。

Xinming Tu 说,「这需要大量的序列数据,不是几个例子,蛋白质序列在它们的训练里占了不小的一块。」

飞书文档 - 图片

对AI来说,蛋白质也是一种语言

Fable 5.2 的官方介绍页 APPSO 从头到尾翻了一遍,没有一个字提到训练数据里有什么。所以上面这些,都还是两位研究者从模型的表现倒着推出来的。

能查到的是 Anthropic 自己公开做过的事。今年 9 月 17 日它发过一篇文章,说 Claude 用不到四周改写了 30 多个开源的生物模型,平均快了大约 4 倍,这 30 多个里就有蛋白质语言模型。

飞书文档 - 图片

跑分那一栏里有一项叫 De novo binder design,说白了就是给模型 24 小时,让它自己设计一个能结合到指定目标上的蛋白质。

再往下拉是 Safeguards 一节,写着 Fable 5.2 对网络安全和生物两类问题设了防护,被标记的提问会自动交给能力弱一些的模型去答。

飞书文档 - 图片

这套防护 Xinming Tu 自己就挨过。测 Claude Fable 5 的时候,44% 的题被过滤器挡了回去,系统给的理由是网络攻击内容,但他发过去的只是一串氨基酸字母。。。

到了 Fable 5.1 被挡的还有 2.5%,而 Fable 5.2 一题都没挡。

Hacker News 上有人在帖子下面抱怨,「连我自己的 DNA 都没法分析,一半的时候会触发 Opus 5.5 的拦截。」

DNA 有人也测了。Opus 5.5 能接人和小鼠基因里负责编码蛋白质的片段,500 个片段里有 25 次把后面 20 个碱基一个不差地写了出来,瞎猜碰上一次的概率大约是一万亿分之一。

可一出编码区,到了基因组的其他地方,它就接不上了。博客里说,它学的是蛋白质,不是基因组。

先把大门给锁上,再把完整能力只发给验过身份的机构。这个顺序是不是说明,Anthropic 很清楚自己的模型在生物上到了哪一步?

飞书文档 - 图片

博客最后留了一个他们还没测的问题。专门的蛋白质模型除了会接字母,在它上面加一个小模块就能算出蛋白质的三维结构,ESMFold 就是这么来的。

Claude 现在背得出蛋白质的字,它看不看得懂蛋白质的形状?

这个问题,Anthropic 也已经在接招了。

今年 9 月,它宣布 Claude 在一种专门感染细菌的病毒里,翻出了一段不寻常的 DNA。这段 DNA 的排列方式,很像大名鼎鼎的基因编辑工具 CRISPR,也就是常说的「基因剪刀」。公司生命科学负责人 Eric Kauderer-Abrams 后来对《科学美国人》说,这段东西到底是干什么的,他们自己也还不确定。

再往前两年,Dario Amodei 写过一篇长文,说 AI 有机会把生物学五十到一百年的进展,压缩到五到十年里。那时候听起来只像是一句愿景。

这样看来,蛋白质压根就不是 Claude 顺手学的一门选修课,而是一门必修课。

飞书文档 - 图片

当大家还在比谁的模型代码写得好,Anthropic 已经悄悄把蛋白质当成一门语言在教了。

Image
我们正在招募伙伴
📮 简历投递邮箱hr@ifanr.com
✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)
更多岗位信息请点击这里🔗
Image