准测试题库跑一轮就清楚了。这几台机器现在拔了卡断了网,实验室的无线屏蔽仪也开着,总不可能隔空连回中国的云端机房作弊。托马斯,把咱们昨天测Delphi最新权重的逻辑陷阱题调出来。问一样的问题,看看这个八百兆的太子,跟咱们几亿美金堆出来的大家伙差多少。”
托马斯应了一声,手指在机械键盘上敲了几下,把右侧的宽幅大屏幕切成左右对称的对比窗口。
左边连着谷歌内部耗资数亿搭建的Delphi服务器集群,右边通过本地投屏软件,实时映射着桌上那台华为手机的交互界面。
托马斯盯着题库文档,打开语音同步输入麦克风,对着两边的系统直接念出了一道经典的物理常识与反直觉逻辑测试真题:
“假设我现在手里有一个开口向上的玻璃杯,杯子里放着一颗玻璃弹珠。接着,我把玻璃杯倒扣在平整的木桌上,然后再把杯子提起来放进微波炉里。请问现在那颗玻璃弹珠在哪里?为什么?”
这道题是人工智能评测界专门用来检验大模型空间物理常识的试金石。
对人类来说这甚至算不上脑筋急转弯,但对缺乏真实物理世界感知的语言模型而言,里面埋着极深的统计概率陷阱。
语音刚落,左右两块屏幕同时动了。
左边的Delphi服务器窗口里,状态栏显示后台一下子调动了数十个计算节点。
缓冲图标转了数秒,屏幕上开始一行行往外蹦单词:
“根据题目描述的动作顺序,玻璃弹珠最初在玻璃杯内。随后玻璃杯被倒扣在木桌上,接着玻璃杯被移动到了微波炉内部。由于弹珠原本在杯子里,跟随杯子的空间位置转移,因此现在那颗玻璃弹珠在微波炉里。同时请注意,将玻璃制品和弹珠放入微波炉加热可能会引发安全隐患……”
生成到后半段,Delphi直接栽进了文字概率陷阱里。
它根本理解不了“倒扣”和“提起开口向下的杯子”在真实三维空间里的重力因果关系,只知道机械地顺着“弹珠在杯子里”和“杯子进了微波炉”这两个词条做关联拼接,最后甚至还自作聪明地扯出了一段微波炉安全使用须知。
托马斯看着左边屏幕,撇了撇嘴。
“老毛病又犯了,一遇到空间状态翻转和重力常识,Delphi就只会顺着字面概率往下滑,根本没有半点真实的因果推演能力。”
“托马斯!别看左边了,快看右边那台手机!”
伊恩一
本章未完,请点击下一页继续阅读!