第6章他终于露面（2 / 2）

ai芯片智能大模型的底层架构出了bug，导致训练过程中张量计算频繁溢出，整个模型跑了一个星期的数据全废了。

宋驰野沉默了几秒，声音很平稳：“沈教授呢？他们不能来解决吗？”

“现在国外那边的工程师联系不上，时差对不上，国内的几个负责人都在试，但这个底层逻辑太复杂了，没人敢动，怕一动崩得更大……”

电话那头的人语速极快，带着明显的焦灼，“宋总，明天上午就要给客户那边做演示，如果今晚修不好——”

简枝本无意偷听，但那些术语传进耳朵里的时候，她的大脑几乎是下意识就想到了答案。

她不动声色地开了口：“你们的通信协议是不是用了自定义的all-reduce？”

宋驰野转头看了她一眼。

简枝没有看他，目光落在走廊的墙壁上，继续说：“如果用了自定义all-reduce，在做算子融合优化的时候，梯度切片的边界对齐很容易出问题。多卡并行时每张卡的显存分配不一样，梯度切分的时候会出现字节错位，叠加到一定次数就会触发溢出。”

她顿了顿，“你们查冲突点，重点看融合算子里面有没有隐式的类型转换。fp16到fp32的精度切换，在边界对齐出错的情况下会生成一个异常大的梯度值，这就是loss爆炸的原因。”

电话那头安静了一瞬。

然后那个急促的声音又响起来，但这次不是对宋驰野说的，是在跟旁边的人确认什么。嘈杂了几秒后，声音重新传过来，带着压抑不住的激动：“宋总！她说的对！我们刚才回查了一下融合算子的代码，确实有一个隐式的fp16转fp32，在梯度切片的边界——完全对上了！”

宋驰野握着手机的手微微顿了一下。

他偏过头，重新看向简枝。

这一次的目光和之前不同了。

不再是看一个需要帮忙的狼狈女人，而是在审视、在评估、在重新掂量。

走廊昏暗的灯光下，她站在那里，身上披着他宽大的大衣，头发还是散乱的，脸色还是苍白的，可那双眼睛却亮得惊人。

刚才那番话，不是照本宣科，不是含糊其辞，而是逻辑清晰、一针见血，甚至连具体的排查方向都给出来了。

这种水平，不是科班出身加几年经验就能有的。

这是天赋。

宋驰野忽然想起一件事。

半年前，他在一个极其小众的技术论坛上，碰到过一个id叫"枝"的用户。那人发帖不多，但每一篇都是硬核底层架构的分析，逻辑之缜密、见解之独到，连他手底下那帮博士都自叹不如。

他曾经让人查过那个id，但对方匿得很深，只查到是个年轻女性，在国内，其他一概不知。

他当时还觉得可惜，想着如果真有其人，一定要挖过来。

此刻看着面前这个人，他心里忽然浮起一个微妙的念头——

该不会这么巧吧？