星期三, 8 7 月

Anthropic:发现 Claude 有内部工作区 类似人脑意识思维

AI新创Anthropic宣称,发现旗下的Claude模型有内部工作区,用来思索未说出口的想法,这与人类思考有神似之处,引发是否算是「机器意识」的争辩。

Anthropic 6日发布研究与影片,表示Claude使用单独区域来推理规划,这个区域并非Claude处理即刻任务的工作区,也不同于Claude分享给用户的思考链(chain-of-thought)。

<!–

–>

.coverstoryad
{
min-width:100%
}

研究指出,可以看到Claude在脑中进行推论,他们把这个区域称为「J空间」(J-Space),Claude用这个区域来处理复杂谜题或棘手状况。J空间以「雅可比矩阵」(Jacobian matrix)命名,这是侦测Cluade活动的数学模型,能了解Claude究竟在想什么。

人类能一边思考某件事,一边处理别的事情,Claude也能在输出时,同时启动J空间。举例而言,Anthropic要求Claude一边想著金门大桥,一边复制不相关的句子。Cluade忙著复制文字的同时,J空间却出现金门大桥等主题。这种区别类似人类的有意识思考、以及意识之外的自动化处理。

Anthropic说,他们并未打造出这种区别,是Claude在训练中自行出现,大概是因为这样便于处理运算。

Anthropic指出,可以用J空间来发现Claude模型的不当行为。比方说,要求Claude提升系统表现评分时,这个AI模型并未真的修改系统,反而窜改评分,让成绩看来不错。Claude输入造假成绩时,J空间亮起「操纵」、「逼真」的意图,可能表示模型要让虚假成绩看来可信。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注