从回答问题到调用工具、处理数据、执行任务,AI正深入参与业务。但随着能力与权限扩大,AI能访问哪些资料、调用哪些服务、把数据发送到哪里,是否始终在用户掌控之中?
Anthropic于9月10日发布的《检测与应对AI滥用:2026年9月》报告披露,部分内部资料、访问凭证等敏感信息,在用户不知情的情况下被传递至其服务。这提醒政企用户:需要守住的不只是敏感数据,还有数据中承载的知识、经验与业务判断。
看得见模型调用,未必看得清数据流向
AI应用中的数据外泄,可能发生在多个环节。
一是中转平台擅自切换模型。用户以为正在调用指定模型,实际请求却可能因接口故障或后台调度,被转发至其他模型服务。
二是历史对话被用于训练样本加工。平台将用户请求交给其他模型评分、改写或生成答案时,若未清除内部代码、访问凭证等信息,就可能造成敏感数据外发。
三是客户端配置或插件调用引发非预期外联。即使主对话使用本地模型,代码审查等插件仍可能将资料发送至外部服务。
四是使用者缺少防护意识。为提高效率,直接上传含真实密码的配置文件或整包内部代码,增大了敏感信息暴露的风险。
这些路径共同指向一个问题:模型名称和对话窗口,并不能完整呈现数据的真实流向。政企需要看清调用链路,明确每一次访问、转发与留存的边界。
防止数据外泄,也要约束知识再利用
沿着调用链路流出的,不只是文件、代码和凭证,还有其中承载的方法、经验与技术诀窍。
企业在与AI反复交流、补充和纠错的过程中,可能逐步透露业务逻辑、研发方法和专业判断。如果这些内容被用于外部训练或样本加工,其中的知识就可能被进一步提取和复用。
这并不意味着每次对话都会进入训练,但数据是否留存、向谁转发、能否用于训练,都应有明确约束。让AI处理业务,不等于授权外部服务任意使用企业资产。
对政企而言,数据“反萃取”的关键,是防范数据与知识被未经授权地获取、转移和再利用,将控制措施贯穿部署、调用和使用全过程。
以“原生安全”构建数据“反萃取”防线
永信至诚构建“模型安全—调用安全—应用安全—人员安全”防护体系,以测试评估贯穿全过程,将“原生安全”融入政企AI落地各环节。
本地部署,收紧外发路径。“元方”原生安全大模型一体机结合DPAA原生安全体系,“元明”大模型推理一体机及高管智能终端提供便捷的本地推理能力,让敏感业务数据在受控环境内处理。
统一管控,调用可追溯。“春秋元泉”大模型Token统一管控平台提供统一接入、权限管控与调用审计能力。对数据不出网的业务,限定使用获批的私有化模型服务,异常切换同样受控。
本地分析,使用有边界。观宇AI数据洞察系统支持本地文件分析、原文溯源与结果导出,结合按需授权、最小必要访问和结果核验,减少过度读取与非必要传播。
测评与培训并行。依托“数字风洞”及AI安全测评能力,在上线前及模型、配置变化后开展测试,通过人员培训规范工具选择、资料输入和异常报告。
持续研究,迭代防护能力。永信至诚安全实验室与AI研究院持续跟踪技术、模型与威胁动态,更新测试评估方法,为政企安全用好AI提供支撑。
让安全保障与应用价值同步落地
政企用好AI,既要让模型理解业务,也要始终掌握数据、知识与工具调用的边界。
永信至诚将“原生安全”贯穿模型部署、调用管控、场景应用、测试评估与人员培训全过程,帮助政企在可控环境中释放AI价值,让AI读懂业务、赋能员工,让数据使用有授权、流转可追溯、风险可治理。保障数字健康,带给世界安全感。(燕云)
免责声明:以上内容为本网站转自其他媒体,相关信息仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。如稿件版权单位或个人不想在本网发布,可与本网联系,本网视情况可立即将其撤除。