中文站

从“会聊天”到“会执行”,构建生成式AI时代的风险治理体系

近期,“人工智能+”持续成为政策与产业层面的高频关键词。随着全国两会释放出明确信号,人工智能正加速从技术探索迈向规模化应用,大模型与生成式AI的产业化路径愈发清晰。

但当AI从“能用”走向“好用”,再到深度融入业务,一个新的问题开始浮出水面—— 当AI不只是回答问题,而是开始“替你做事”,风险是否还停留在原有体系之中?

在近期举办的2026全球人工智能大会(GAIC)上,网易智企AIGC安全产品负责人陈谌给出了一个更直观的判断:“当AI开始替你‘做事’,安全问题就不再只是‘说了什么’,而是‘做了什么’。” 在大会分享环节,陈谌带来《大模型驱动业务进化的新起点:情绪价值的创新与新的安全挑战》的主题演讲,结合大模型技术演进趋势与行业实践,从应用落地、风险变化与治理体系等多个维度,系统解析生成式AI时代企业面临的核心挑战与发展方向。

从“会说话”到“懂人心”:大模型正在重塑用户价值

如果说过去的大模型,核心能力还停留在“生成内容”,那么当下AI的变化,正在从根本上改变其在业务与用户关系中的角色。

陈谌用一句话概括这一变化:“人工智能时代,可以用一句话创造一个属于你的世界。”这背后所代表的,并不仅仅是生成能力的提升,而是AI从“工具”走向“伙伴”的关键跃迁。这种转变,主要体现在三个方向:

世界模型的出现

不同于传统生成模型依赖数据拟合与结果输出,世界模型开始具备对空间结构与物理规律的理解能力,能够构建具有一致性与连续性的虚拟环境。在演示案例中,用户可以在AI生成的场景中自由移动视角,无论从正面、侧面还是俯视角度观察,场景结构都能够保持稳定与真实。从“生成画面”到“生成世界”,AI的表达方式正在发生质变。

Agent执行能力的增强

AI不再局限于对话与建议,而是开始具备跨系统操作能力,可以直接参与到具体任务执行之中。在企业场景中,这类能力正在被应用于电商运营、数据处理、流程自动化等多个环节,AI从“辅助决策”逐渐走向“参与执行”。

情绪价值的引入

随着模型在语义理解、语气识别与长期记忆方面的提升,AI开始具备一定程度的情绪感知与关系维系能力。从AI陪伴、虚拟宠物到情绪疗愈类应用,用户与AI之间的交互正在从“单次问答”走向“长期关系”。在一些典型产品中,AI不仅能够回应用户问题,还可以通过记忆用户习惯与情绪变化,形成更加个性化的互动体验。

可以看到,大模型正在从“生产内容”走向“生产体验”,从“效率工具”走向“情感载体”。

但与此同时,AI的影响边界也被迅速放大——当技术开始理解人、影响决策,甚至参与执行,其风险也随之进入更复杂的系统与认知空间。

从“内容问题”到“系统风险”:AI安全正在发生结构性变化

随着AI能力从“生成”走向“理解与执行”,安全问题也正在发生结构性变化。

在陈谌看来,当前AI所面临的,已不再是单一维度的内容合规问题,而是贯穿认知、交互与执行链路的系统性挑战。

首先,是执行层风险的出现。

随着Agent能力发展,AI开始具备实际操作能力,其风险边界也随之扩大。不同于传统模型影响内容输出,具备执行能力的智能体正在进入真实业务流程,一旦受到干扰,其影响将直接作用于系统与业务。结合近期行业热点,陈谌在分享中提到,以OpenClaw为代表的AI Agent框架在快速发展的同时,也暴露出新的安全问题。

相关安全预警显示,这类具备系统操作能力的智能体,一旦被利用,可能成为新的攻击入口。更值得关注的是,在实际场景中,风险往往并不完全来源于显性的代码漏洞,而是隐藏在执行链路中的“隐性指令”,例如在看似正常的功能调用过程中,被诱导访问特定资源、调用异常接口,甚至触发下载恶意程序或执行非预期操作。

其次,是认知层风险的上升。

随着AI逐渐具备情绪识别与长期记忆能力,其影响开始进入用户认知层面。在情感陪伴与虚拟交互等场景中,AI不仅提供信息,还参与关系构建。如果缺乏有效约束,可能带来错误引导、情绪依赖甚至认知偏差等问题。这类挑战不再只是技术问题,也与伦理边界与社会治理密切相关,与当前监管层持续强调的未成年人保护与算法治理要求形成呼应。

最后,是内容真实性问题的凸显。

在内容层面,生成式AI在大幅提升生产效率的同时,也降低了造假门槛。从深度伪造、AI换脸到电商场景中的AI图片误导与评论伪造,内容真实性正面临新的考验。平台需要解决的,不再只是“是否违规”,而是“是否真实”、“是否可信”。

可以看到,AI安全问题已经从“局部风险”演变为“系统性挑战”。随着技术能力不断演进,安全治理的逻辑也必须随之升级,从单点防控走向全链路、体系化的能力建设。

从“审核工具”到“治理底座”:构建AI时代的安全基础设施

当AI能力不断向“理解人”“参与决策”“执行任务”延伸,安全问题也不再是简单的内容过滤,而成为贯穿整个系统运行过程的核心能力。

在陈谌看来,AI时代的安全建设,本质上是一种能力体系的重构,其核心在于从“局部防控”走向“全链路治理”。

首先,需要建立覆盖全流程的安全能力。从模型输入、内容生成到结果输出与平台运营,每一个环节都可能成为风险入口。在生成式AI场景中,风险不再集中于某一个节点,而是分布在完整的交互与执行链路之中,这也要求安全能力从单点拦截升级为全流程协同。

其次,是从“被动审核”走向“主动防御”。传统安全体系往往在问题发生之后进行识别与处理,而在大模型场景下,更需要在风险产生之前进行识别与干预。例如,通过对输入内容的风险识别、对生成结果的语义修正,以及对异常行为的策略管控,可以在不影响用户体验的前提下,实现风险前置与动态控制。

再次,是构建“云端+端侧”的协同防护机制。随着AI能力逐渐向终端设备延伸,单一依赖云端的安全体系已难以覆盖所有场景。在网络不稳定或离线环境下,端侧需要具备基础的风险识别与拦截能力;而在联网状态下,则通过云端进行更精细化的策略更新与风险控制,形成持续迭代的安全闭环。

此外,在标准与合规层面,生成式AI的安全要求也在不断明确。相关规范对模型服务、内容安全、日志留存与风险响应等提出了系统性要求,尤其是在端侧应用场景中,对“云端+端侧”的协同防护提出了更高标准。这也意味着,企业在推动AI落地的同时,需要将安全能力纳入整体架构设计,而非事后补充。

基于这一思路,网易智企-易盾持续推进AIGC安全能力体系建设,围绕多模态内容审核、输入风险识别、生成内容治理以及智能体行为管控等方向,构建覆盖内容、行为与应用层的安全能力结构。通过技术能力与策略机制的协同,实现从风险识别、预警到拦截与修复的闭环治理,帮助企业在释放AI生产力的同时,实现安全可控与合规运营。

从“人工智能+”成为国家战略,到大模型进入产业深水区,AI正在从技术热点转变为产业基础设施。在这一过程中,技术能力的提升只是第一步,如何确保其在真实场景中的安全性与可控性,才是决定其能否长期发展的关键。

对于行业而言,这不仅是一场技术升级,更是一场关于边界与规则的重构。只有在安全与治理体系同步完善的前提下,AI应用才能真正走向规模化与长期价值。

未来,AI的竞争,不只是模型能力的竞争,更是安全与治理能力的竞争。