近年来，全球人工智能（AI）产业蓬勃发展，今年ChatGPT更是引爆了新一轮投资和竞争浪潮，人工智能已成为新一轮科技革命和产业变革的重要驱动力量。《经济参考报》记者在调研中发现，人工智能正显露出对网络安全行业的巨大影响力和应用潜力，如何应对人工智能可能带来的安全问题成为各界关注点，也成为网络安全工作的下一个着力点。
人工智能产业发展迅速
近年来，人工智能产业加速发展。据中国信通院测算，2022年我国人工智能核心产业规模达5080亿元，同比增长18%，企业数量超过4000家，中国人工智能产业已进入全球第一梯队。另据预测，2030年我国人工智能核心产业规模将超过1万亿元人民币，全球人工智能市场规模将达到16万亿美元。美国商会今年3月的报告指出，在未来20年里，“几乎所有企业和政府机构”都将使用人工智能，人工智能将对社会、经济和国家安全产生深远影响。
中国科学技术部部长王志刚近日在第七届世界智能大会上表示，当前全球人工智能发展进入新一轮跃升期，超大规模预训练模型的重大突破实现了人工智能的一次历史性跨越，探索出通往通用人工智能的可能路径，潜在创新发展空间巨大。
当前，主要发达国家均十分重视发展人工智能，美国、英国、法国、德国、加拿大、日本、印度、新加坡等国均已陆续发布了人工智能战略。我国也十分重视这一领域的发展，2017年就印发了新一代人工智能发展规划，提出要抢抓发展的重大战略机遇，构筑我国人工智能发展的先发优势。
今年，ChatGPT引发新一波人工智能投资和竞争浪潮。谷歌、meta等美欧企业和我国的百度、阿里、华为、科大讯飞等都在加紧对人工智能的研究。
业界人士预计，未来5至10年将是人工智能发展的关键期。仅就生成式人工智能而言，Gartner预计其将在2至5年内进入成熟期，并将带来大量的应用机会和商业潜力，是未来的重要技术趋势。
潜藏安全风险引担忧
人工智能在网络行为异常分析、网络安全漏洞识别、人脸检测、自动威胁检测、反欺诈等很多方面都发挥了重要作用，但人工智能快速发展可能带来的潜藏风险引发广泛担忧，关于人工智能发展监管的呼声越来越高。
中国信息协会信息安全专业委员会主任叶红指出，全球范围内人工智能引发的数据泄露、网络攻击、模式误导、学习反噬等安全风险日益凸显，已成为影响和制约人工智能高质量发展的障碍。下一阶段，人工智能安全将是网络安全发力的一个重点。
国家信息中心党委专职副书记、纪委书记吴文化日前在2023西湖论剑·数字安全大会上表示，人工智能给网络安全引入了三方面风险：一是网络攻击风险，人工智能在一定程度上降低了网络犯罪的门槛，提高了攻击的有效性；二是数据泄露风险，容易造成敏感数据或个人信息泄露；三是模型误导风险，一旦遭受数据投毒或模型攻击，容易引发负面舆情扩散或重要决策偏差。
人工智能发展所呈现的新特征带来了安全挑战。中国电信股份有限公司研究院副院长/云网基础设施安全国家工程研究中心常务副主任李安民认为，人工智能安全不同于以往，其具有double security（双重安全）特征。以往的安全主要是确保系统、对象的安全，而人工智能对象特殊，目前已进入模型驱动时代，其本身具有学习、演进、变化的能力。尤其到元宇宙时代，多元、多维、全息、全能的特征和以往狭义的网络空间和网络信息安全相比，人工智能涉及的安全问题范畴无论从内涵还是外延都有极大的突破。
中国电信集团有限公司科技创新部总经理/云网基础设施安全国家工程研究中心主任王桂荣认为，由于AI技术应用渗透到方方面面，因此有可能带来社会生活和社会治理安全的问题。一些技术，如歧视性的算法、换脸技术等，如果应用不当则会带来伦理安全等风险。
国家信息技术安全研究中心原总工程师李京春认为，由于目前人工智能还不具备创新或联想的特性，尚不足以对人类安全构成威胁。但随着技术的不断演进，仍可能对国家安全、数据安全、网络安全具有影响。
安恒信息董事长范渊日前接受媒体采访时也从技术层面分析解释了AI将带来的两个挑战：一是一些自动化生成工具会带来病毒、木马、后门等出现几率的大幅提升，甚至可能是几百倍的提升，怎样来对抗、来快速发现和快速进行智能化的防护是重要挑战；二是如ChatGPT这样的应用大模型会伴随大量的数据应用，从而产生相关的安全漏洞风险。
业界人士还指出，人工智能应用不当或滥用会增加网络安全、信息安全的监管成本，引发监管滞后。中国电科首席专家董贵山对此表示，ChatGPT作为辅助工具后可能出现过度采集使用者信息的情况，如果ChatGPT本身的源代码上游系统有漏洞，也会导致不同用户的交互隐私遭泄露。
中国工程院院士沈昌祥警告，人工智能自身失误可能会给人类带来灾难；智能硬件可能被恶意用于恐怖袭击；智能工具可能被用于干预和引导政治走向；智能化武器与军备竞赛引发国际新的担忧。
未雨绸缪筑牢安全防护墙
业界人士认为，在人工智能发展过程中，要坚持安全可靠和创新发展并重，筑牢安全防护墙，应对人工智能带来的安全风险亟须未雨绸缪，从而真正拥抱人工智能发展带来的机遇。
中国科学技术协会主席万钢近日表示，要进一步推动科技、伦理、规范、标准和技术的融合，为智能体构建与科技向善的人类共同理念相契合的学习、理解和行为模式，以及更有效的安全性、可靠性、有效性的行为边界。
在沈昌祥看来，人工智能发展是趋势，但安全是发展前提，要避免产业盲目发展，需要构建主动免疫人工智能安全产业的空间。他提出，构建起业务信息、资源和管理的安全可信的三重防护框架，并设置基础软件安全可信、应用软件可信、电信安全可信和实时态势感知四个保护等级。
我国对人工智能安全高度重视，近年来，关于网络安全的法律法规、标准规范，包括各种团体标准、地方政策不断出台。
业界人士认为，从制度、标准、防范技术等方面来看，在制定了相应的框架后，仍需进一步细化深化。与产业的蓬勃发展相比，安全制度仍显得滞后，给人工智能风险防范和安全监管带来了严峻挑战。
叶红建议，要健全人工智能安全制度的体系建设。在推动产业发展时，应深刻认识到其发展可能面临的风险，健全和完善人工智能算法安全、模型安全、数据安全以及安全评估等政策和制度；要在强化人工智能安全行业治理方面加大力度，需要多元主体共同参与治理。积极鼓励相关科研院所持续开展人工智能相关重点问题研究，鼓励相关行业组织制定相关人工智能标准；鼓励第三方开展相关安全评估和检测认证。
李京春指出，人工智能安全问题需要全球共同治理，守住道德底线。要重视软件和软件供应链的安全管控，加大数据安全保护力度，要开展识别、封控等对抗AI技术研究，打击人工智能犯罪。要加强网络安全审查、数据安全审查等国家安全审查。
针对人工智能隐藏风险的新特征，方正证券5月的研报指出，在本轮人工智能产业浪潮下，网络安全产业在攻击侧、防守侧及监管侧的逻辑将发生重大变化。
记者在调研中发现，网络安全企业和技术应用企业已经在积极把握时机，主动应对人工智能的新模式、新应用带来的安全需求。
作为深耕网络安全的企业，安恒信息对人工智能安全防护有着积极看法。“‘AI+安全’，这个大幕才刚刚拉开，未来还有更大的可能性。”范渊认为。据介绍，安恒信息积极利用“AI+安全”的智能化应用给智能防护和响应产业带来的机遇。过去几年，安恒信息已经在云端数据大脑、云端AI模型生成及应用领域进行了积极布局，对类似于大语言模型带来的安全挑战已积累了一定实战经验。
中国电信也在积极构建完备的人工智能应用安全处理体系。在让人工智能更安全方面，中国电信加大相关技术研发，攻关人工智能纵深防御技术、密码技术和数据产业链化技术。目前，其自主研发的威胁检测系统、隐私计算的数据共享平台，以及数据安全流通与监管系统、数据安全的智能化关键技术等，已经在内部和客户场景得到了广泛应用。
业界专家指出，随着人工智能科技和产业的快速发展，有必要根据最新形势变化，制定实施新的人工智能发展国家战略，包括加快研发人工智能大模型、集中力量攻克人工智能关键核心技术、超前规划布局人工智能产业、培养和引进世界一流的人工智能创新人才、及时研究制定有关规则和标准等。针对一些核心技术方面的难题，特别是在基础理论、底层框架和算法核心领域，要强化和深入人工智能核心技术攻关，聚集产学研用各方力量，开展人工智能技术的联合攻关，深化人工智能的技术和产业融合创新。