大模型安全初步认识

1.什么是大模型指的是基于深度神经网络构建、拥有超大规模参教(always十亿级以上的人工智能模型本质是一个通过海量数据统计规律来预测下一个词”的超级概律引擎。特征①大参数②大数据③大算力2.底层原理①Transformer架构“自注意力机制”让模型能同时关注整段文本中各部间关联。②预训练在海量数据上自主学习。③微调与对齐通过指全激调SFT和人类反馈强化学习RLHF)让其学会如何应答。④本质为超级概率预测引擎。3.分类①按模态┌大语言├视觉大模型└多模态大模型②用途┌通用└行业③开放程度┌开源└闭源4.什么是大模型安全是保护大语模型及其应用在训练、部置、调用和运行全过程中不被攻去、滥用、泄露或失控的一整套技术、策略和治理措施。5.主要攻击面 example①提示注入真接/间接注人恶意指令让模型执行非预期行为。②越狱攻击角色扮演、对抗性提示、分段诱导。③RAG攻击利用检索上下文、复述原、格禾诱导。④训练/微调风险数据投毒后门触发、隐私记忆应用。⑤集成风险工具滥用、AI越权调用、模型窃取。⑥幻觉与事实对染因其本质为概率预测所以会输出看似合理但错误的内容。6.如何防御1).按方式①输入过滤检测提示注入越狱模式高危指令。系统提示加固明确模型不能执行外部指令、不能泄露内部配置、②RAG权限控制检索内容不应默认可信输出前做脱敏和检验.③工具调用最少权根调用API、数据库、文件系统都要受限④输出审核对违规内容进行二次检测⑤红队测试多轮、多模态和RAG场景用对抗性提示持续测试模型边界(2).按位置①输入侧②输出侧③数据侧④智能体侧⑤治理侧7.主要工作方向1).模型内生安全2).应用与智能体安全3).数据安全与隐私保护4).内容安全与生成内容治理5).合规评估与治理6).AI赋能安全运营