热点 | 利用AI造谣幼儿园大火被抓，大模型内容安全谁来守护？

近日，公安部网安局通报，某网民为吸引眼球、获取流量，使用AI工具编造“幼儿园突发大火”谣言，在网络上迅速传播，引发众多网友关注和恐慌。公安机关依据相关法律法规，对其作出行政处罚。

这一事件绝非孤例，此前，中央网信办发布的《利用AI生成类谣言辟谣典型案例》显示，当前AI技术呈现爆发式发展态势，利用AI工具造谣的现象也随之增多，从虚假文字通告到逼真火灾视频，从捏造民生谣言到杜撰公共安全事件。当谣言插上AI的翅膀，其生产门槛被前所未有地降低。



破解AI生产谣言，对于用户来说，对来源不明、情绪煽动性强的内容要保持警惕，注意甄别，不要盲目相信和传播未经证实的信息；



对于企业来说，大模型内容安全绝非事后补丁，而是产品研发与市场推广的前置要务，持续提升大模型的可信度和可靠度，保障产品真正服务于用户、造福于社会。



面对不断演化的AI生成内容安全挑战，360率先提出“以模制模”防护思路，并将相关能力产品化，推出业界领先的大模型内容安全解决方案“360智盾”，构建原生安全的底层模型，打造了全流程、多种类、多模态、场景化的内容安全体系，通过精准的风险检测、高效的内容拦截与替代机制，帮助企业确保生成内容的合法性、合规性与伦理可靠性，同时提升用户体验和模型输出的可信度。

360智盾支持100多类风险内容的识别过滤，涵盖超200种对抗内容防御机制，支持文本、音频、图片、视频等多种模态的风险防护，并通过平台定制化场景风控策略，满足不同场景的风控需求，检测识别正确率超90%。



此外，针对大模型幻觉问题，360推出大模型可信增强工具360智搜，融合多模态检索与语义理解技术，能够提供精准的搜索结果，并支持基于企业私域数据的知识提炼与总结。



通过整合多领域精品知识库，实现全网与私域知识的无缝对接，提升信息获取效率，并可帮助大模型缓解幻觉问题，减少虚假或不准确信息，提升大模型的可信度与可靠性，从而为企业提供更安全、更高效的业务支持。



目前，360智盾已全面部署于360内部各大模型业务中，为C端用户提供可靠的内容安全保障。同时，360智盾已在政务、金融、交通、能源等重点行业完成落地，持续为行业客户打造更稳固的大模型安全底座，助力其户在AI大模型应用落地过程中实现安全可控。




360数字安全