【网络强国·百人谈】
目今,人工智能正从“会回覆问题”走向“能挪用工具、能妄想路径、能自主行动”,智能体加速进入企业生产谋划的各个环节。从“资源与界线”到“使命与行动”,清静防护的工具更多、粒度更细、水平更深,企业怎样既推进智能体应用、又守住清静底线,让大模子真正从“能用”迈向“敢用、好用”,成为业界关注的焦点。
在第一届中国网络空间清静大会(CCSC2026)时代,中国网络空间清静学会常务理事、4118云顶集团董事长兼CEO李雪莹接受灼烁网采访,围绕智能体应用中的清静危害、企业智能体清静防护系统建设、大模子从“能用”迈向“敢用、好用”等话题,分享了她的视察与思索。
智能体清静尚存三大危害——目的使命被改变、权限被滥用、信任被转达
智能体使用历程中可能保存哪些清静危害?李雪莹以为,在智能体的使用历程中,主要有三大类危害:
第一类是目的使命被改变。我们在使用智能体时,输入的对话、邮件、数据中可能夹带着恶意内容,它们进入上下文以后会把恒久影象污染,最后被真实地执行、落地。这个历程在用户看来是正常的,但现实上执行的效果已经和原本的使命目的纷歧样了。
第二类是权限被滥用。智能体在运行当中会“继续”用户交给它的凭证和权限,若是在授权时没有充分遵照最小权限原则,一旦这个智能体被恶意攻击,或者被误用,它就可能借助这些正当权限去做越权的操作;若是这个链条当中没有加入人工审核,就可能造成重大的危害和影响。
第三类是信任被转达。智能体挪用的模子若是掺杂了恶意模子,或者挪用工具泉源不明,甚至已经被植入恶意代码,信任就被过失地转达给了这些恶意的模子和工具,由此在使用中带来新的危害。
除此之外,尚有两类衍生危害:
一类是数据泄露。智能体的使用是多智能体交互的,交互历程当中,不管是由于权限的问题照旧信任转达的问题,都可能造成太过的信息转达,凌驾原本应该转达的内容,造成隐私和敏感数据的不当泄露。
另一类是危害的级联撒播。智能体涉及的面较量多,使用当中可能跨层级转达,好比,一个营业智能体一旦泛起危害,与它关联的营业都可能受到响应影响。
针对这些危害,对企业来讲,有三类事情要做:
第一类,原本成熟、一直在用的清静能力依然有用,我们不但要把古板的清静危害管控好,这些能力有许多也可以直接复用到智能体和大模子上,这一类要完整地用起来。
第二类,要针对大模子和智能体新增的清静问题,对应增添响应的清静手段,好比,在智能体会见中遵照最小权限原则,做到一次一授权、历程可纪录可回溯。
第三类,防护系统要分层,要害操作由人来把关,危害看得见、控得住,AI就可以定心用。
大模子从“能用”迈向“敢用”——做到工具可管、权限可控、行为可断、数据可追
面临大模子从“能用”迈向“敢用、好用”的要害阶段,李雪莹以为,构建企业智能体清静防护系统,要做到“工具是可管的,权限是可控的,行为是可断的,数据是可追的”。详细来讲:
“工具可管”,就是要能够看到所有不法的和未知的智能体,并且能够对它举行识别,对恶意举行阻断;
“权限可控”,就是对所有正当的智能体,举行合理授权,包括最小化授权,最好是动态授权;
“行为可断”,就是关于智能体所有的操作行为,要能够可见、可识别,一旦发明有问题,能够实时熔断和回滚;
“数据可追”,就是关于数据的所有操作,要能够审计、能够追溯。
要做到上述这几点,需要解决三个问题:
一是在面向智能体的清静能力上,解决“看不全、看不清、看不细、管不深”这四个能力缺口;
二是使用智能体之后,整个管控要从资源层面延伸到使命和行动链层面,也就是说,一个智能体,使命是什么、使命怎么妄想、历程当中怎么授权、操作了哪些数据、取得了什么样的效果,对一整条链条要举行完整管控;
三是大模子和智能体应用之后,要�;さ墓ぞ弑涞酶嗔�,安排的清静手段和条理也增添了,要解决的就是把这些能力放到一个统一的控制面上管控,实现整个清静能力的完整闭环。
*文章泉源:灼烁网

京公网安备 11010802026257号