text: 智能治理傅宏宇：ChatGPT这么牛，我们应该如何兼顾发展和治理？
  傅宏宇阿里研究院数据经济研究中心副主任   ChatGPT的火爆，让人们感受到新型人工智能技术越来越迫近我们的日常生活。未来，人工智能可能会成为重要的生产力，改变我们的生活。在进入未来世界之前，我们也在思考如何更好的治理人工智能技术，让发展和治理同步进行、共同迭代。近年来，中国针对人工智能技术可能带来的风险，出台了相关法律和政策要求，科技企业也努力加强风险控制，接受社会监督。如何更好的推动针对新型人工智能技术的“敏捷治理”？如何在有效应对技术不确定的同时，激发创新活力，加强国际竞争力和技术影响力？要回答这些问题，首先要了解新型人工智能技术带来了哪些挑战——“共同无知”是指治理者和被治理者都不确定治理对象带来的风险和挑战。传统治理范式中，治理者和被治理者信息不对称。治理者对技术研发应用了解较少，需要通过算法透明等方式，理解技术过程和技术后果，采取相应治理机制。但新一轮人工智能技术发展迭代迅速，各方面临的问题更多是，对技术发展变化和影响后果共同无知。以前，算法透明在很大程度上能够让各方了解技术特点及其结构，理解技术原理及负面影响。但以ChatGPT为代表的新型人工智能技术模型复杂、底层原理缺乏明确理论解释，给治理提出新的挑战。另外，传统科技治理以先验式为主，也就是在风险识别的基础上，分类分级建立治理框架，采取预防性制度规则防范风险。但ChatGPT为代表的新型人工智能技术可解释性差、风险情况未知、发展前景无法预知的情况，必须要探索新的治理模式。   “目标模糊”是指作为最普遍应用的新型技术，人工智能的广泛影响使得治理目标呈现多元化特点。人工智能技术快速迭代，应用场景也越来越广泛，要用更加包容的态度面对问题，设定多元、合理、具备包容性的治理目标。以前，人们担心基于内容生成类算法被用于换脸等深度伪造，给信息安全及其相关的肖像权、财产权带来危害。现在，随着ChatGPT出现和应用，很多专家也开始担心技术落后于人会带来的风险，呼吁通过更好的治理手段来解决数据、算力等发展堵点。技术快速发展也要求动态模糊治理工具的运用范围，利用合规、可信的技术对技术本身进行治理和约束，实现多样化的治理效果。例如，数字水印技术开始是DRM（数字版权管理）机制的一种，被用于保护内容的著作权；随着深度合成技术发展以及普及，该项技术逐渐被应用于虚假内容治理领域，避免用户混淆、误认，并实现生成内容可追溯、可检测。治理工具的效果随技术发展呈现多样化特点，其使用方式和使用效果也是多元的。对治理工具的选择和确定需要考虑到这种模糊性，避免过于严格、单向度工具的设计和使用，并在过程中动态调整。   “关系依赖”是指多类型主体参与“人工智能生成内容（AIGC）”，造成“牵一发而动全身”的多元主体的治理困境。传统治理范式下治理者和被治理者身份清晰，社会公众等利益相关方较少参与。但以ChatGPT为代表的通用人工智能技术主体多元，包括内容服务提供方、作为数据提供方的用户以及提供通用人工智能的技术支持者等。人工智能治理不是二元对立的双边关系，需要各方互相依赖、共同探讨，需要各类主体发挥自身治理能力优势，取长补短，形成综合全面的共治体系。例如，可以构建开源开放的社区环境，逐步形成自律自治的技术共同体，加强预判风险能力，有效补充外部监管。另外，由于人工智能设计伦理问题，通过多方参与形成共识的方式开展伦理治理，主动接受社会监督，有助于达成共识、建立信任。   面对上述挑战，应当如何有效的治理ChatGPT，让它的创新能力可信可控可靠，服务人类福祉和数字经济高质量发展？以往，科技治理的主要范式有两种：包容性自规制和规制性监管。包容性自规制范式的核心思路是“避风港规则”，是一种通知—删除规则为核心的企业自律和结果责任体系。它形成于20世纪80年代，为上世纪末开始的快速发展变革浪潮提供了治理模式基础。很明显，这种治理方式下会产生较多侵权问题。规制性监管的特点是严格风险管控，例如在完整、全面的监管风险评估前禁止药品上市等，并对技术使用过程进行较强的穿透性监管。以ChatGPT为代表的新型人工智能技术快速迭代并带来重重挑战的背景下，上述两种范式明显无法契合新技术治理的目标和诉求。这就需要一种新的治理范式：敏捷治理。针对以ChatGPT为代表的新型人工智能技术带来的三大挑战，敏捷治理可以通过共同学习解决共同无知的问题，通过同行评议解决目标模糊的问题，通过反馈迭代解决关系依赖的问题。共同学习可以充分考量各方的不同利益诉求，借鉴科学决策的方法，通过标准化的科学方式开展成本收益评估，运用比例原则避免治理手段的绝对化。同行评议能够发挥专家知识的作用，评议本身属于探索性的柔性治理方式，其灵活性和专业性能够得到保障，评议过程中可以考虑运用监管沙箱等实验主义治理方式。反馈迭代能够充分考虑实践中得到的有效信息，逐渐理清、拨开复杂的主体间依赖关系，明确治理问题及治理目标，充分发挥各方积极性，形成互信、合作、敏捷的治理共同体。ChatGPT 对网络安全的影响过去几周，整个互联网科技圈被一个来自美国的搅局者--ChatGPT 彻底霸榜，甚至全社会普通大众都在开始谈论 ChatGPT，ChatGPT 已经成为了全球月活最快破亿的消费应用。虽然 ChatGPT 国内仍然用不了，但丝毫不影响关于它的消息出现在各个平台，刷了一遍又一遍的屏。面对新鲜事物，好奇与对未知的抵触总是相伴而来的，特别是国内互联网表现得又如此急切，在对 ChatGPT 的讨论里，态度总是身处两极：一方是片面神化，把 ChatGPT 的出现认为是宣告新时代的到来，无所不能、无处不在，充满了对未来的想象。而另一方则认为热度的背后全是资本的炒作、新瓶旧酒，无非是又一个新的韭菜切割器，充满了对其不屑。作为一个新鲜事物被推到了风口浪尖，ChatGPT 到底是新一代神器还是图个乐的玩具、亦或割韭菜的工具？打破对新鲜事物好奇与抵触最佳方式就是更多地了解它、甚至尽可能亲自去用一用。作为信息安全相关产业的从业者，出于本能的反应都会去思考这样的问题：ChatGPT 这个互联网上滋生出来的新事物对信息安全相关产业将带来什么样的影响？众所周知，AI 对网络安全带来了巨大而深刻的影响，它既被用来改进和加强网络安全解决方案，帮助人类分析师更快地分类威胁和修复漏洞，也被黑客用来发动更大规模、更复杂的网络攻击。那么以 AI 为核心的ChapGPT 又能给网络安全带来什么新的影响呢？我们可以从以下两方面展开来看：1、ChatGPT 带来的网络安全新威胁首先，从开展网络攻击的角度来看，ChatGPT 这类生成式人工智能是偏向于威胁行为者的。生成式 AI 能提供所要求的内容--这极大有利于制作网络钓鱼电子邮件。它通过获取的信息，利用额外的上下文关联关系，并根据其理解得出结论。ChatGPT 可以毫不费力地创建大量复杂的网络钓鱼电子邮件，甚至它还可以创建非常逼真的虚假配置文件，这样渗透进入过去被认为机器不适合或不擅长的领域（如 LinkedIn 等等），伪造出令人信服的资料甚至图片。其次，目前已经看到有威胁行为者正在使用 ChatGPT 来开发恶意软件。虽然 ChatGPT 的代码编写能力的质量结果好坏参半，但专门从事代码开发的生成式 AI 可以极大地加速恶意软件的开发速度。这种开发速度的加快直观的结果就是它有助于更快地利用漏洞，在漏洞披露后的几个小时内即可开发出直接利用漏洞来开展攻击的工具，而不是过去的几天后才开发出工具来利用它。再者，ChatGPT 大大降低了威胁参与者基于技能的进入成本。目前，威胁的复杂性或多或少与威胁行为者的技能水平有关，但 ChatGPT 已经将恶意软件空间开放到一个全新的新手威胁参与者水平上，他们参与门槛极大地降低，因为它不仅扩大了潜在威胁的数量，将潜在威胁行为者的数量扩大到了令人震惊的程度，而且还使那些几乎不知道自己在做什么的人更有可能加入战斗。由于 ChatGPT 的迭代和改进速度惊人，依托它来开展的网络攻击能力水平能得到同步进化，可以说它在发现漏洞方面越来越快、越来越聪明，在编程实现漏洞利用方面越来越及时、越来越成熟高效，新发现的漏洞的武器化时间必将越来越短。具体展开来分析，ChatGPT 新增的恶意用途表现为：（1）整合多种恶意软件过去的恶意软件往往相对独立，都在针对某些或某类暴露出来的漏洞进行攻击，有点单点定向攻击的味道，比较难以扩散，但 ChatGPT 出现后，正如网络安全出版商 CyberArk 报道的那样，新的病毒或攻击武器可以在ChatGPT 的帮助下让过去能被阻止、检测、过滤的病毒获得新生，因为它可以通过精确地引导攻击请求，ChatGPT 就可以生成网络犯罪分子过去难以整合的代码，从而打出组合拳，实现全面的立体攻击甚至自动化智能攻击。（2）提升漏洞发现能力ChatGPT 具有强大的分析功能。通过向 ChatGPT 提供源代码甚至部分泄露出来的源代码，ChatGPT 就有能力检测出其中可能的漏洞，目前据报道已经有黑客在漏洞赏金计划期间使用了这种技术，并且获得成功（比如通过分析 PHP 代码片段，ChatGPT 发现了通过数据库访问用户名的可能性以及方法和路径）。因此，可以肯定的是，网络犯罪分子已经开始使用它来尝试发现新的漏洞。（3）给新手黑客赋能过去我们往往认为黑客都具备很高的技术技能，但 ChatGPT 出现后新手黑客（script kiddie）大量涌现，他们并没有很高的技术技能，其活动充其量只是使用暗网上可用的现有脚本，或简单地在 GitHub 平台上发起入门级攻击（例如不发明任何东西，只是随机性地使用其他人开发的程序，实现对 Kali Linux 操作系统的冒犯性使用）。在 ChatGPT 出现后，这些入门级网络犯罪分子立刻可以获得新的能力，从过去的只能简单地利用指令中立刻跳升到编写针对性代码的新级别，这极大地激励了众多入门级黑客使用ChatGPT 发起自己的攻击。（4）按需伪造钓鱼电子邮件由于可以通过将问题定向到源代码生成，因此可以要求 ChatGPT 编写网络钓鱼电子邮件的文本（例如交付、人力资源或付款提醒等），ChatGPT可以非常方便且高效地完成对应的上下文，ChatGPT 生成的文本即使是专家也看不出来，这可以说为犯罪分子提供了按需伪造文本的利器，由于伪造出来的文本完全可以以假乱真，人工都难以识别，因此机器更无法过滤，可以大大提高攻击的有效性。根据 HP Wolf Security 的研究，网络钓鱼占恶意软件攻击的近 90%，业界专家估计 ChatGPT 必将会使情况变得更糟。因为过去鱼叉式网络钓鱼使用社会工程来创建具有更高收益的高度针对性和定制的诱饵，但是鱼叉式网络钓鱼需要大量的手动工作，因此过去规模很小，随着利用 ChatGPT 来产生诱饵，攻击者立刻可以解决大量和针对性两全方面的问题。更要命的是基于 ChatGPT 的这类攻击可以轻松绕过电子邮件保护扫描程序，因为它们不包含任何恶意附件。（5）快速筛选和锁定目标ChatGPT 可以被用来作为高效通过友好聊天收集信息的一种工具，因为用户根本不会知道他们正在与 AI 交互。利用一个毫无戒心的人可能会在一长串的交谈中泄露出来的看似无害的信息，这些信息结合起来可能有助于确定他们的身份、工作和社会生活关系；通过 ChatGPT 向企业员工发送问题，员工可能会在不知不觉中分享有关组织正在做什么、如何处理网络事件、组织当前正在处理什么网络事件…等。此外，有关技术问题的沟通可能揭示组织感兴趣的业务发展方向…结合其他人工智能模型，这足以告知黑客或黑客群体谁或者那个组织可能是一个很好的潜在目标以及如何利用他们。（6）模拟网络防御/攻击以发展网络攻击技术据报道，攻击者正在使用 ChatGPT 来模拟网络防御来发展他们的网络攻击技术，以找出目标系统的漏洞。同时，他们通过模拟攻击来评估其攻击的有效性。他们通过利用 ChatGPT 对不同的恶意软件技术进行研究，甚至利用它创建对目标最有效的恶意软件。（7）社会工程攻击ChatGPT 的诞生和发展，给甚至不精通各种语言的攻击者借助生成的文本进行社会工程攻击提供了极大的方便。攻击者利用 ChatGPT，在医学研究、国防和网络安全等关键领域传播误导性信息/错误信息。过去为了捕获人工智能生成的错误信息，专家们使用人工智能驱动的模型转换器，通过对大量资源进行检查来快速识别错误信息。然而，ChatGPT 也使用模型转换器，可以轻松生成绕过网络安全专家的系统的识别。此外，通过利用 ChatGPT 向用于自动网络安全响应的威胁情报提供误导性信息，可以降低网络安全的有效性，这可能使专家都无法关注到需要解决的实际漏洞。2、ChatGPT 带来的网络安全防御新机遇ChatGPT 在网络安全方面给我们带来新的风险的同时也为网络安全防御带来了新气象，它也可以是一个强大的网络安全工具，具体体现为：（1）提升防御的自动化水平并减少人为错误ChatGPT 作为人工智能的典型代表，它对实现自动化防御措施提供了有力支撑。目前，安全编排、自动化和响应（SOAR）工具在网络安全策略中越来越受欢迎。由于 SOAR 具有减少应对安全威胁所需的人为干预能力，利用 ChatGPT 这样的 AI 来协助网络安全策略的部署和动态调整，可以大大减轻安全专家的工作量和工作强度，从而可腾更多的时间来聚焦处理 AI 无法处理的创造性工作。ChatGPT 可以降低人为错误的可能性。任何网络安全系统的关键弱点之一是人为因素，无论您的计划有多好，无论您的技术多么有效，只需要一两个人犯了一个错误，网络就会无法抵御勒索软件和其他网络安全威胁。通过尽可能多地利用 ChatGPT 来自动化生成解决方案，网络安全公司有望减少人为错误导致网络灾难的可能性。（2）ChatGPT 是信息安全人员的好助手ChatGPT 可以通过进行研究、撰写报告、创建处理各种事件的脚本和检查数据来帮助首席信息安全官。安全官员可以使用 ChatGPT 的综合分析结果来增加对安全问题的了解，进一步还可以借助 ChatGPT 的能力来寻找到应对网络风险的最佳方法。此外，它还是安全研究人员的很好的信息安全伴侣，因为它可以很好地完成许多任务，同时与人们十分自然地交互。未来，它可以与安全管理团队深度配合，特别是那些处理脚本、恶意软件分析和取证的团队。（3）ChatGPT 可大大提高安全团队的效率ChatGPT 能帮助 IT 和安全团队变得更加高效，实现自动和/或半自动漏洞检测和修复以及基于优先级的风险评估等工作。过去，可以分析数据安全的人工智能对于面临资源有限的 IT 和安全团队来说非常稀缺，局限点在于需要海量数据的训练它才能理解特定环境中的什么是“正常”情况什么是“异常”情况，因此实施起来极其复杂。但是 ChatGPT 的诞生，大大简化这样的过程，它的超强“理解力”给安全团队带来了极大的方便，使得自动或半自动漏洞检测与修复不仅可行且高效起来。（4）编写事务性的处理代码可以利用 ChatGPT 编写代码，特别是事务性处理程序代码。安全运维分析师常见的任务是处理特定的日志文件、针对某些模式的 grep 并将其导出，以获得对事件或问题的有意义的见解。通常分析师需要知道并熟悉一种脚本语言（如 Python），ChatGPT 可以以多种语言为他们编写这些脚本，可以管理各种格式（LEAF、CEF、Syslog、JSON、XML 等），甚至可以做得更好。《南方治理评论》稿约《南方治理评论》始创于2013年，CNKI来源集刊。广州大学南方治理研究院主办、社会科学文献出版社出版的连续性学术辑刊。《南方治理评论》秉持“培育公共精神，直面转型中国，诠释社会热点，扩展学术深度，贴近重大需求，服务国家治理”，追求“本土化、专业化、个性化、国际化”，崇尚原创研究、微观研究和深度研究的学术精神，试图在中国繁杂的地方语境下运用本土话语体系着力解读地方性知识和日常性逻辑。主要设置有“学术一线”、“数字治理”、“健康治理”、“灾害治理”、“南国讲堂”、“伶仃书评”、“回归访谈”等栏目。通讯地址：广州市大学城外环西路230号文逸楼512室邮政编码：510006办公电话：020-39366779投稿邮箱：gdgzpar@163.com投稿网站：http://iedol.ssap.cm.cn/(选择“社会政法”)投稿体例：https://pan.wps.cn/l/srr2hdj《南方治理评论》第8辑《南方治理评论》第7辑《广州公共管理评论》第6辑《广州公共管理评论》第5辑《广州公共管理评论》第3辑《广州公共管理评论》第2辑  广州大学南方治理研究院始创于2019年，广东省高校特色新型智库，广东省决策咨询研究基地。研究院主要研究领域包括珠三角政府治理、粤港澳大湾区社会治理、珠江流域生态治理、泛珠三角健康治理、南中国海安全治理等五大方面，致力于建设成为“经世致用、咨政育人”的地方高校特色智库。