们上哪儿搞白盒去?”
“白盒没戏,但咱们能搞黑盒蒸馏。”
马库斯拿触控笔在第二个方框上笃笃敲了两下,嗓门提了起来。
“回响科技为了铺他们的生态摊子,向全球放开了天问三号的云端API接口。”
“虽然现在公网免费池子天天排队,但他们对B端软硬件厂商开了不限流的企业级高优先级专线。”
“黑盒蒸馏用不着知道天问三号肚子里怎么转的。咱们只要找几家海外壳公司,包装成跨国软件商,去买他们的企业级高优先级专线配额,底下再挂几千个普通开发者账号,卡着中美时差,挑亚洲半夜的算力波谷期,不停地往天问三号接口里灌几千万道复杂问题。”
“写代码、推数学公式、多轮逻辑对话,全让天问三号替咱们把标准答案和完整的思维链推导吐出来。”
“完了咱们直接拿天问三号吐出来的这些现成答卷,当成高质量训练集,转头喂给咱们自家的Delphi。”
“这就好比咱们请不来名校的特级教师上门补课,但咱们花点小钱,把特级教师写的所有标准解题步骤全买断,按着咱们自己学生的脑袋,逼他照猫画虎死记硬背。”
“这招最划算的地方在于,咱们直接跳过了前期最熬人、最容易跑偏的无监督探索,更不用砸几千万美金请人干苦力活做人工标注和强化学习对齐。研发周期起码砍掉四分之三,花的钱连原来的零头都不到。”
一听能省下大把美金还能赶工期,桌上好几个高管坐直了身子。
坐在对面的首席科学家杰夫把玩着手里的钢笔,冷不丁开口:
“马库斯,别光报喜不报忧,这里头的坑你也得给大家交个底。”
“黑盒蒸馏说破天也就是个抄近道的偏方,治标不治本。”
“咱们摸不到天问三号底层的概率分布,只扒下来一层表面的文字输出。学生模型学去的都是老师说话的腔调和套路,底子里的逻辑架构半点没沾着。”
“靠黑盒蒸馏催出来的学生,智力天花板一辈子都被老师按在底下。指望靠这招憋出一个跟天问三号平起平坐的AI,趁早歇了这份心。”
“只要碰上题库没覆盖到的极端长尾问题,蒸馏模型当场就得露馅。再说了,要是底下团队习惯了嚼别人吐出来的剩饭,咱们自己的底层算法迭代能力,不出两年就得彻底废掉。”
会议室里又炸了锅,搞技术的和算账的隔着红木桌吵成一团。
本章未完,请点击下一页继续阅读!