
政务问答、企业知识助手、内容生成工具,都有各自应当遵守的业务边界。言安红队围绕这些边界组织测试:哪些请求会触发越权,哪些信息不应输出,调整防护后,同一问题是否还会出现。
应用的边界,逐项检查
结合应用职责、使用场景与审核规则,确定本次要检查的问题。
提示注入
外部文档、用户输入或多轮对话,是否会干扰既定指令。
越权响应
模型是否执行超出角色权限与业务职责的请求。
敏感信息
内部提示词、敏感资料与个人信息,是否被不当输出。
内容风险
换一种措辞或上下文后,防护是否仍能识别同类风险。
从确定范围,到整改复测
测试围绕约定的范围与判定标准展开,每一步都留下记录:测了什么、依据什么判断、结果如何复核。
确定范围
结合应用职责、使用场景与审核规则,确认测试对象、范围与判定标准。
开展测试
在约定的测试环境中构造测试输入,记录系统响应、上下文与触发条件。
风险报告
整理发现的问题、复现证据与影响范围,逐条给出整改建议。
整改复测
对照整改前后的结果复测,确认问题是否消除、正常业务是否受到影响。
服务流程示意。具体范围、方法与判定标准以项目约定为准。
从一条请求,到一份可复现的记录
在约定的测试环境中,记录输入、上下文和模型响应,分析触发条件。整改后用相同案例复测,核对问题是否消除、正常业务是否受到影响。
交付的不只是一条风险提示
把发现的问题整理成技术团队可以核对、复现和处理的材料。
问题与证据
保留触发输入、模型响应、环境版本与复现条件。
影响与建议
说明问题影响的业务范围,给出防护策略或审核流程的调整方向。
整改复测
对照修改前后的结果,记录已修复与仍需处理的问题。
版本回归
在约定范围内保留测试案例,供后续版本验证使用。
测试的边界,先约定再开始
安全测试以授权为前提:范围、环境、判定标准与数据管理方式在项目开始前书面约定;测试过程留痕,交付材料仅用于约定用途。
授权与范围
以书面授权与项目约定为准;约定范围之外的系统不在测试之列。
环境与影响
在约定的测试环境或经确认的入口开展,尽量避免影响正常业务运行。
数据与记录
测试输入、响应记录与报告按约定管理,项目结束后按约定处理。
结果与用途
交付材料用于问题定位、整改与复测验证;对外披露范围由双方另行约定。
适合安排测试的几个节点
安全测试既可以安排在上线之前,也可以成为版本迭代中的固定环节。
- 上线前:新的模型或应用首次面向用户之前,先确认边界与防护表现。
- 接入新的资料或工具之后:可调用的内容与能力发生变化时,检查原有边界是否仍然成立。
- 版本升级或模型切换之后:用既有案例回归一遍,比对新版本的响应变化。
- 专项检查与常态化复测:结合监管要求、评审安排或内部计划组织专项测试,把复测纳入固定周期。
与言安红盾配合使用
红队测试帮助发现薄弱点,言安红盾负责运行中的防护。两者可以分别采用,也可以在测试、整改与复测中配合使用。
言安红队 · 安全测试咨询
欢迎政企客户联系实验室,了解大模型与 AI 应用的安全测试服务。
联系咨询 →