在近期举办的2024中国科技行业高管交流大会上，Gartner发布了关于生成式人工智能（GenAI）安全的最新研究。随着GenAI技术的迅速发展和应用，全球超过58%的技术提供商已经在他们的产品中内嵌了GenAI技术。这种技术虽然为企业带来了创新的机会，但同时也引入了新的安全挑战。
Gartner高级研究总监曾劭清表示：“GenAI技术在提高业务效率和开拓新服务方面具有巨大潜力，但它也使企业的安全攻击面扩大，尤其是在提示工程和数据安全方面。GenAI技术为攻击者提供了新的途径，例如利用AI生成的内容进行社会工程攻击或通过污染训练数据来破坏AI系统的完整性。此外，攻击者可以利用GenAI提高攻击工具的自动化和智能化水平，这对传统的安全防御措施构成了挑战。同时，GenAI系统的复杂性本身也可能引入新的漏洞和弱点，要求企业采用更先进的技术和策略来确保系统的安全。”
随着GenAI技术融入日常业务操作，企业面临的攻击面显著扩大。这不仅影响到数据处理，还直接威胁到AI模型的安全性。为了应对这些挑战，企业必须采取先进的安全措施和技术。这包括但不限于实施综合的数据监控系统、加强训练数据的安全性，以及部署专门的安全解决方案来保护AI模型免受操纵和攻击。更重要的是，企业需要在AI开发和部署的每个阶段整合安全最佳实践，确保从设计之初就考虑到安全因素。
曾劭清指出：“在快速发展的GenAI领域，仅靠被动式的安全防卫已无法满足保护需求。企业必须在AI系统的设计和运营过程中，建立自动移动目标防御体系，以防范可能的安全威胁。这种前瞻性的安全策略是保护企业不受新兴技术风险侵害的关键。”
与此同时，攻击者正利用GenAI的能力来提升其攻击精细化和效率，对传统安全防御体系构成新的挑战。攻击者利用GenAI进行更加自动化和智能化的攻击，不仅提高了攻击效率，也增加了攻击的隐蔽性和复杂性。为了应对这些挑战，企业必须采用基于AI的防御技术，这些技术能够实时监控和分析异常行为，以识别和阻止潜在的威胁。
曾劭清指出：“攻击者可以利用GenAI快速开发出新的攻击方法，这要求我们的防御系统不仅要快速响应，还要足够智能以识别和适应这些新型威胁。企业投资于AI驱动的安全解决方案，将是对抗这一新趋势的关键。”
同时，GenAI技术的普及带来了数据安全管理的复杂性，企业必须适应这种变化，以防范不断增长的安全风险。GenAI可以处理和分析大量数据，但如果不当管理，也可能导致数据泄露或被恶意利用。因此，企业需要实施严格的数据治理措施，确保所有使用AI处理的数据都符合最新的安全标准和合规要求。此外，加强对AI操作的监控和审计，确保数据的完整性和隐私保护也至关重要。
曾劭清表示：“在这个由数据驱动的时代，确保数据安全是使用GenAI技术的企业面临的一大挑战。我们必须认识到，数据不仅是一个资产，也是一个潜在的风险点。采用先进的加密技术、访问控制和实时监测系统是保护数据安全不可或缺的部分。
（来源：飞象网）
相关推荐
-
预算缩减与 AI 期许， CIO 如何在不确定性高点下应对
“砍预算了。”这可能是近年来，经常听到的一话。Gartner的数据也印证了这点，自2014年开始，中国企业的IT预算占比基本维持在10%左右，但在2018年开始逐步下跌，2025年甚至达到最低点-0.8%，今年来到2%。与2025年IT预算最低点相对应的是全球不确定性指数同期也来到了最高点，远超以往疫情与金融危机所带来的影响，地缘政治、经济发展、高科科技发展等都加剧了不确定性攀上高位。
-
我国生成式人工智能用户规模达 6.02 亿人，普及率达 42.8%
2 月 5 日消息，2 月 5 日上午，第 57 次《中国互联网络发展状况统计报告》（以下简称《报告》）在京发布。
-
工信部：截至上半年末，我国生成式人工智能产品用户规模达 5.15 亿
11 月 27 日消息，今日，工业和信息化部消费品工业司司长何亚琼在新闻发布会上表示，截至今年上半年末，我国生成式人工智能产品用户规模达到 5.15 亿，应用场景持续拓展，人工智能终端产品竞相涌现，未来消费将不再是购买一件商品，更是订阅一种生活。工信部将从产品创新、场景创新两个方面发力，推动人工智能技术在消费品领域加快落地。
-
AI驱动世界，Gartner2026重要战略技术趋势里的三位新英雄
近年来，业界总是在谈论着AI改变一切，将其又一次奉为“工业革命”级别的技术。不久前，在Gartner发布的2026年十大战略技术趋势中，与AI直接相关或以AI为核心的技术，达到了至少6项，包括：AI原生开发平台、 AI超级计算平台、多智能体系统、特定领域语言模型 、物理AI 、AI安全平台 。Gartner研究副总裁高挺表示：“2026年的各项重要战略技术趋势将密切交织，折射出一个由人工智能（AI）驱动的高度互联化世界的现实图景。在这样一个世界，企业机构必须推动负责任的创新、卓越运营和数字信任。”
-
半年翻番！我国生成式人工智能用户规模达5.15亿人
近日，2025（第六届）中国互联网基础资源大会在北京举办。 会上，中国互联网络信息中心发布了《生成式人工智能应用发展报告（2025）》。《报告》显示，截至2025年6月，我国生成式人工智能用户规模达5.15亿人，较2024年12月增长2.66亿人，用户规模半年翻番；普及率为36.5%。 报告指出，随着技术环境...
-
三七互娱自研“小七大模型”通过国家级生成式人工智能服务备案
近日，三七互娱自主研发的“小七大模型”顺利通过国家网信办生成式人工智能服务备案（备案号：Guangdong-XiaoQi-202507140066），正式获得面向公众开放运营的资质，其也是广东省首批通过备案的游戏垂类大模型之一。这一成果标志着三七互娱在“游戏+AI”战略布局上实现了阶段性突破，也意味着“小七大模型”在实...
-
Gartner 预测：市场冷静后，2027 年底超 40% 智能体（代理）AI 项目将被取消
6 月 26 日消息，分析机构 Gartner 在一份发布于悉尼当地昨日的新闻稿中预测，由于成本上升、业务价值不明确或风险控制不足等原因，到 2027 年底将有超 40% 智能体 / 代理人工智能 (Agentic AI) 项目将被取消。
-
韦乐平详解生成式人工智能的联网技术
4月23日消息，在今日举办的“2025云网智联大会”上，SNAI推委会荣誉主席、原中国电信科技委主任韦乐平表示，生成式人工智能的联网技术主要包括以太网、IB（InfiniBand）、芯片光互连、PCIe、CXL（计算机快速链路）、OCS（光纤交换）等。
-
GenAI即将进入缓慢下降期，能力掣肘与预算收缩
“在未来1―2年我们觉得GenAI将有一个下降期。”Gartner研究副总裁季新苏在不久前的一次媒体沟通会，向外界分享了在内部讨论“GenAI话题在今年会不会冷却？”议题时的观点。在Gartner同期发布的《2024年中国信息与通信技术成熟度曲线》中也能发现，生成式AI正在从期望膨胀期走向泡沫破裂低谷期。
