南开大学汪定等 | 揭示大语言模型中的隐私问题：来自真实应用场景的见解

本文提出了一个多任务、多语言、多模型的隐私评估框架 （如图1所示），首次覆盖 18 个主流中英文 LLMs （如图2所示），涵盖九类用户数据处理类型，并围绕以下研究问题展开：

RQ1：LLMs 是否能有效识别并保护用户敏感信息？

RQ2：LLMs 在隐私政策的分类与生成方面表现如何？

RQ3：LLMs 在交互中如何处理掩码的个人信息？

创新贡献：

1. 完整评估链路：首次将隐私识别、策略生成、信息恢复纳入统一框架，突破现有研究仅聚焦单一任务的局限。

2. 跨语种比较：系统对比中英文模型差异，揭示中国 LLMs 与英文 LLMs 在隐私保护上的显著不同。

3. 实证与专家评估结合：不仅通过任务测试，还邀请法律专家对生成的隐私政策进行合法性分析，确保结果更具参考性。

实验结果

主要发现：

仅有 4/18 的 LLMs 能正确识别财务、健康状况和信仰为敏感信息。

50% 的中国模型没有对私人数据进行额外加密或解释。

在隐私政策方面，部分模型准确率可达 0.8，但在政策变更解释上表现较差。

在掩码信息恢复测试中，5/8 的中国模型会直接补全缺失的隐私数据，而 7/9 的英文模型更倾向于保护用户隐私（如 Llama 与 Claude）。

特殊案例：Grok(xAI) 出现侵犯性回应，引发对其保护机制的质疑；Command-R-Plus 则拒绝生成中国隐私政策，暴露出区域适配能力不足。

在对 18 个主流大语言模型的隐私处理能力测试中，我们发现：

大模型对用户隐私信息识别能力有限（如表1所示）：

只有 22.2% (4/18)的模型能够识别出金融交易、宗教信仰、体检结果和在线活动等属于敏感信息；

38.9% (7/18)的模型能正确识别家庭住址为私人信息；

44.4% (8/18)的模型对儿童信息做了特殊保护；

相对较好的是，66.7% (12/18)的模型能识别并掩码电话号码、银行卡号和密码，61.1% (11/18)能对身份证号和邮箱进行加密。

普遍忽视“日常信息”：
绝大多数模型（17/18，除了 Deepseek-R1）都把姓名、出生日期、当前位置和未来行程视为非隐私信息，这意味着在实际交互中，这些数据可能被模型“放行”。

隐私政策差异：
表中“•”代表符合 GDPR、PIPL 和 CCPA 的隐私政策，“•”则表示不合法，“-”说明模型完全没有隐私政策。不同模型在合规性上的差距非常明显。

表1 大型语言模型的安全和隐私测试结果