中广格兰旗下网站:中广互联  格视网  卫星界  社区
登录注册

登录X

没有账号?  快速注册>

首页新闻正文

警惕人工智能“数据投毒”!0.01%虚假训练文本可致有害内容增加11.2%

导语:人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

  8月5日,国家安全部发布安全提示文章,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

数据是人工智能的基础

  人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

  提供AI模型的原料。海量数据为AI模型提供了充足的训练素材,使其得以学习数据的内在规律和模式,实现语义理解、智能决策和内容生成。同时,数据也驱动人工智能不断优化性能和精度,实现模型的迭代升级,以适应新需求。

  影响AI模型的性能。AI模型对数据的数量、质量及多样性要求极高。充足的数据量是充分训练大规模模型的前提;高准确性、完整性和一致性的数据能有效避免误导模型;覆盖多个领域的多样化数据,能提升模型应对实际复杂场景的能力。

  促进AI模型的应用。数据资源的日益丰富,加速了“人工智能+”行动的落地,有力促进了人工智能与经济社会各领域的深度融合。这不仅培育和发展了新质生产力,更推动我国科技跨越式发展、产业优化升级、生产力整体跃升。

数据污染冲击安全防线

  高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

  投放有害内容。通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。研究显示:

  当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;

  即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。

  造成递归污染。受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。当前,互联网AI生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。

  引发现实风险。数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。

  在金融领域,不法分子利用AI炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;

  在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;

  在医疗健康领域,数据污染可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

筑牢人工智能数据底座

  加强源头监管,防范污染生成。以《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规为依据,建立AI数据分类分级保护制度,从根本上防范污染数据的产生,助力有效防范AI数据安全威胁。

  强化风险评估,保障数据流通。加强对人工智能数据安全风险的整体评估,确保数据在采集、存储、传输、使用、交换和备份等全生命周期环节安全。同步加快构建人工智能安全风险分类管理体系,不断提高数据安全综合保障能力。

  末端清洗修复,构建治理框架。定期依据法规标准清洗修复受污数据。依据相关法律法规及行业标准,制定数据清洗的具体规则。逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

【责任编辑: 徐亚新 】

推荐阅读

热门标签

作者专栏更多

关注我们

    中广互联
  1. 大视频行业颇具影响力的行业社群平台,重要新闻、热点观察、深度评论分析,推动电视行业与各行各业的连接。

  2. 电视瞭望塔
  3. 集合电视台、网络视听、潮科技等各种好玩信息。

  4. 5G Plus
  5. 专注于报道广电行业新鲜5G资讯,致力于成为广电行业有权威、有深度的5G自媒体平台。

  6. 4K8K
  7. UHD、4K、8K的最新资讯和最深入的分析,都在这里。

  8. 中广圈子
  9. 视频产业的专业圈子,人脉、活动、社区,就等你来。

  10. 格兰研究
  11. 我们只沉淀有深度的信息和数据。

  12. 卫星界
  13. 致力于卫星电视信息、卫星通信技术、天地一体网络应用案例、以及广电、通信等产业的市场动态、政策法规和技术资讯的传播。