芝加哥大学Glaze导读
一份简单的关于芝加哥大学glaze的导读，该项目为使用画风迁移防止画师作品被未授权学习的AI对抗项目。
Last updated
一份简单的关于芝加哥大学glaze的导读，该项目为使用画风迁移防止画师作品被未授权学习的AI对抗项目。
Last updated
Glaze: Protecting Artists from Style Mimicry by Text-to-Image Models https://arxiv.org/pdf/2302.04222.pdf
自从强大的AI图像生成器的兴起于去年席卷互联网以来，艺术家们一直在谈论这对他们生计的威胁，尤其是那些未经事先同意就将其作品用于训练模型的艺术家。最近，他们的不满甚至升级为集体诉讼。为了解决这一问题，芝加哥大学学术研究项目Glaze为艺术家们推出一款免费（非商业）应用程序，希望利用先进的“伪装”技术打击AI对于“艺术知识产权”的盗窃行为。该团队还发表一篇研究论文，解释了这款beta版应用的工作原理——能够向每件艺术品添加几乎难以察觉的“扰动”，借此干扰AI模型读取风格数据的能力，使其更难以模仿目标作品及创作者的艺术风格。不止于此，这些扰动元素还能诱导系统输出与原始艺术作品相去甚远的其他常见风格，但其基本不会影响画作或图片的观感。
很明显，AI感知世界的方式与人类存在根本差异，人们早就意识到了这种差异的存在。这种差异很难被轻易消除或回避，所以才尝试用‘对抗性示例’来对抗机器学习。最近十年来，人们一直在努力解决这种对抗，但却收效甚微。从目前的情况看，人类对现实世界的视觉观察与AI模型对现实世界的数学观察之间，似乎不可避免地存在差异。所以用纯技术术语来讲，采取的加扰方法其实是一种攻击、而非防御，但它起到的确实是防御作用。
另外，人类创作者（也就是艺术家）的个体需求与AI模型间的不对等性。这些创作者往往以艺术创作为生，而生成式AI模型背后的商业参与者则是吸引了大量风险投资和个人数据的成熟机构，他们的目标就是让机器获得自动化（更直白地讲，取代）人类创造力的能力。单就生成式AI艺术模型来讲，这项技术确实通过自动模仿艺术风格威胁到了艺术家们的生计。StableDiffusion和Midjourney等生成式AI艺术工具的用户无需掌握任何绘画技巧，就能生成看起来相当合理（至少完全可以唬住外行）的图像。只需要输入几个单词来描述需要的内容，这些软件就能快速生成图像，甚至可以按用户提示模仿特定艺术家的创作风格。整个输出过程极快、视觉效果也相当独特，反衬出这项技术的成熟和强大。然而，生成式AI模型开发商一般并未获得在公共互联网上搜索数据以训练模型的许可。在生态链的另一端，艺术家们仍然在开放平台上展示自己的作品，希望借此提升技能、扩大个人的行业影响力。但正是这种常见的创意服务运作方式，让大量作品被AI模型当成了训练数据。就在生成式AI不断借此强化自身的同时，并没有人打算问问受到影响的艺术家们到底愿不愿意。
在个别情况下，艺术家甚至发现自己的名字可以被直接作为提示词，指示AI模型生成与其风格相近的图像——同样无需任何预先许可（也没有相应的收入补偿）。这可以说是赤裸裸的创意盗窃行为（但相信此类诉求很快就会得到司法部门的支持）。
它是由芝加哥大学的计算机科学家团队开发的，该团队与该学院的研究小组SANDLab有关联。这个想法的灵感来自Fawkes，这是SANDLab于2020年构建的一种算法，可以“隐藏”个人照片，使其不能用作面部识别模型的数据。这个最新的项目是由艺术家们联系实验室恳求他们提供帮助而促成的，之后实验室对1,000多名艺术家进行了调查以评估问题的严重性。因此，Glaze借用该算法来识别需要更改哪些特征以改变作品的风格，然后仅“扰乱”这些特征以混淆生成模型所需的最小量。
作为该项目的教职带头人，芝加哥大学计算机科学教授Ben该团队在采访中解释了这款工具的工作原理。该软件的工作是尝试理解AI模型如何以它的方式看待艺术风格。之后以这个维度为基础，努力扭曲模型对于特定风格的认定结果。所以与其说是在隐藏或者阻止某些特征信息，倒不如说是在学习机器学习模型的语言，并用这种语言来扭曲模型对艺术图像的看法，同时又尽量不影响人类的正常观看。事实证明，AI模型与人类审视画作的角度截然不同，完全可以在机器学习视角上实现显著扭曲，但又不在人类视角上造成易于察觉的变动。
所选的目标风格T在模型特征空间中应该与被保护的艺术品V的风格有足够的不同，以最大限度地破坏风格模仿的机会。 对于一个新用户，Glaze使用以下算法从一组与艺术家的样式相当不同的候选样式中随机选择风格T:
首先检查一个艺术家的公共数据集，每个艺术家都有一个特定的风格（如莫奈、梵高、毕加索）。对于每个候选目标艺术家/风格，它会选择该风格中的一些图像，并使用图像特征提取器Φ计算它们的特征空间质心。
计算被保护的艺术品V特征空间质心。
然后找到候选样式集，其质心距离V的质心在所有候选样式的50到75百分位之间。
最后，它从候选集中随机选择T。
Glaze利用一个预先训练过的风格迁移模型Ω来生成目标风格的艺术作品。给定每个艺术作品x∈XV和目标风格T，它的风格将x转移到目标风格T，以产生风格转移的图像Ω(x,T)
然后，Glaze计算斗篷扰动δx添加到原始的艺术作品特征提取器中来破坏风格模仿。为了最小化扰动对艺术作品视觉影响，论文遵循下式进行优化:
其中，Φ是文本到图像生成任务中常用的通用图像特征提取器，Dist(.)计算两个特征表征的距离，|δx|测量由隐身引起的感知扰动，p是感知扰动预算。
论文的实现使用LPIPS（学习感知图像补丁相似性）来绑定扰动。与之前工作中使用的Lp距离不同，LPIPS作为用户感知图像失真的衡量标准越来越受欢迎。使用此度量的边界斗篷生成确保隐藏版本在视觉上与原始图像相似。论文应用惩罚方法来求解上式中的优化，具体内容如下：
其中，α控制了输入扰动的影响。L2距离用于计算特征空间距离。
Glaze有能力通过一系列的产生式人工智能模型来进行对抗，这在很大程度上符合了“可迁移性”这个在机器学习中的概念。尽管目前还不能完全实现所有的人工智能美术模型，但是在这些类型中，已经显示了足够的移植性。可以将扰动效应传递到其它看不见的模型上。当然，最终的结果并不理想，因为迁移能力并不是十全十美的。但现在看来，并不需要这样的完美，光是这一点，就足以改变整个游戏行业的颓势。没有必要设定清晰的界限，而应该将其作为一个高连续性的空间来看待。所以，只要建立了一个带有风格伪装效果的版本，大部分情况下，都可以将其移植到其他未优化的模型上，确保对其他模型也有相似的效果。
特定的艺术样式可能对 Glaze的效力有很大的影响，有些样式的确很难得到保护。最重要的是，这种风格的干扰技巧，并没有太大的发挥余地，比如，他觉得简约、清新、纯粹的色彩，干扰的效果并不像那些有丰富视觉元素的作品那么好。某些种类的艺术品，由于其自身的特点，确实很难进行保护。举例来说，在一个建筑素描中，线条是清晰而准确的，与大片的白色背景相结合，这种样式是很难被破坏的，因为室内的活动空间是如此之小。这种类型的图片要么是空白，要么是实线，很少有过渡性的地方。因此，像这种艺术作品，想要保存起来就更加困难，而且效果也不会太好。但是，如果是一幅有很多纹理，很多颜色，很多背景的画，这一点就容易多了。这种方法不仅能提高画面的质量，还能大大提高画面的质量。
从效果上来看，他可以感觉到， Glaze对图片进行了降噪处理，和原本的图片有很大的区别，有些图片很模糊。不过，调查组认为，现在的差异已经很小了，一般人很难察觉到这一点。如果是有眼光的艺术家，一定会注意到这一点，但为了保留自己的风格而做出的一些牺牲，还是值得的，至少可以让观众们继续欣赏自己的作品，而不用担心自己的作品会落入人工智能的手中。Glaze一直致力于为艺术家们解决实际问题，并希望他们能够在网络上自由地发布，宣传，宣传他们的作品。尤其是一些独立的艺人，在人工智能产生模式的威慑下，再也不敢做这种形式的提成，生活都受到了很大的影响。而现在，他们明显感觉到自己变得更有安全感了，而且人工智能很难模仿到他们的画风，这意味着他们完成了自己的诺言。对绝大多数的艺术家而言，这个工具可以让他们在不被 AI轻易复制的情况下，更好地宣传自己的作品。虽说不能说是根治，但至少已经让他们的处境得到了极大的缓解。
（1）未使用Glaze时，风格容易窃取成功
当模仿者能够获得受害者的原始（未经修改的）艺术作品时，模仿者的攻击是非常成功的。模拟艺术品的示例如上图最左边的两列所示，第一列显示了受害者艺术家的原始作品，而第三列描绘了在不使用Glaze时，由特定风格的模型训练受害者的原始作品。在论文的用户研究中，超过>的95%的受访者认为这次攻击是成功的。
（2）Glaze有效阻止风格窃取
Glaze使得模仿攻击明显不那么成功，如上图所示。第5列和第6列（从左开始）展示了在训练特定风格的模型时的模仿艺术品。第4列显示了风格迁移的艺术品（第1列中的原始艺术品是来源），用于优化“斗篷”。
人工智能模式已经吸收了大量的作品、美术风格，其创作人的权利已经受到了侵害。对于这一点，这个小组还是很乐观的，他们相信，大多数的艺人都在持续地进行着自己的创作，并在不断地宣传着自己的新作品。当然，人工智能模型本身并没有停滞，而是在很长一段时间内继续被训练。在他看来，随着越来越多的伪装作品被曝光，人工智能就会改变对某一种画风的认知，从而影响到以前的画风。
一旦艺术家开始运用类似于 Glaze这样的工具，他们的影响力将会持续很长一段时间。除此之外，这些工具还带来了另外一个好处，那就是美术风格实际上是一种延续，因此并没有什么“为了得到想要的结果而必须保证大多数图片的完整性”的说法。即便是只有一小部分的图片被 Glaze加工过，但当这些图片被加入到训练样本中时，依旧会对人工智能模型的结果造成一定的影响。因此，可以确定的是，人工智能模型中包含的内容越多，产生的内容也就越接近于原来的内容。即便只有一小部分人接受治疗，效果也依然存在，只不过是比较微弱而已。总的来说， Glaze技术并不是一个二进制的工具，它具有一个高效的线性增益保护机制。
当前，人工智能模型在某种程度上决定了某些具体的艺术家，例如毕加索。当有关毕加索画风的被保存下来的训练资料不断流入时，人工智能的模式将毕加索画风的认知推进到一个新的高度。当你吸收了更多的材料之后，你就会走上一条通往另一条路的道路，当你完全背离了你对原画的理解时，你就不可能再创作出与毕加索相似的作品了。或许，这就是人工智能对艺术的理解吧。在此，我们再来看看 Glaze是怎样为人工智能挑选一种不合适的样式的，或者说，它是怎样挑选一种特殊的样式，以抵抗人工智能对美术作品的模仿。当然，这也是一种道德上的考虑，如果这个方法真的可行的话，将来还会有更多的方法，用来引导人工智能的发展。
他强调，“格莱泽”将尽力使其产出的目标与原作完全不同，从而有效地保障创作者的权利。也就是说，一位现实主义艺术家的画，在进行了一番伪装之后，很有可能会表现出一种很抽象的东西，这就意味着他的画和原本的画没有任何关系。值得注意的是，在接受采访的艺术家中，有一种共识，那就是画得质量越来越差，那就说明Glaze的保护质量越来越好。而且，我们也不希望这个模型会与某个艺术家的风格有很大的偏差，这也就意味着，我们不需要将一个已有的风格转换成另一个风格。相反，他需要的是一幅能与原本区别开来的作品。所以，他想要找出一种能被大众所接受，但又能与其他艺术家不同的作品。反正，他要做的，就是将两个人区分开来。软件在运行的时候，会对艺术家提交的作品进行分析，大致判断出艺术家目前的创作状态，然后指派一个明显不同的创作状态作为偏差，并试图引导人工智能模型。
首先， Glaze的保护方法是通过将自己的作品隐藏在仿真模型的训练数据集中。这对于那些在艺术上已经发展得很好、很稳定，并且很多作品都可以从画廊收藏库中获得，这是一个特别大的挑战。
其次，像 Glaze那样，为艺术家提供保护的体系，本身就存在着一种对未来的挑战。现在用来隐藏艺术作品的技术，将来也可以用来对付它，从而使得之前被保护起来的艺术作品受到损害。
本课题组的研究成果，也探讨了人工智能模型开发人员可能采用的对策，其中包括：利用图像变换避免干扰（在训练之前先对图像进行增强，从而消除干扰）和鲁棒训练（在训练过程中加入一定数量的伪装图像，从而提高模型的鲁棒性和鲁棒性）。在这两个案例中，研究者们都发现，针对的对策都未能削弱 Glaze所取得的“艺术家认同保护（ARP）”的成功指数（但该论文还提到，鲁棒培训技术的确会削弱伪装的效果）。
在探讨对抗措施所产生的风险时，研究小组也认识到，这种对抗会引发一场保护性的假象和人工智能模型设计者消除保护性行动以获取有价值信息的军备竞赛。但他相信， Glaze可以起到正面的保护作用，至少可以让艺术家们暂时处于主动地位，并且可以利用这个机会，通过制定法律来打击那些贪婪的人工智能模式。比如用这些工具来增加被保护的资料的破译费用，以及让人工智能开发人员放弃免费使用的想法。在机器学习的世界里，攻击永远比防御要容易得多，在某些情况下，这种干扰就像是在模型中下毒一样。当然，也有人会想出更有力的对策，以抵消 Glaze所提供的防护效果。在过去，任何一个研究领域都要花费一年以上的时间来形成相应的对策。鉴于“Glaze”自身的确是一种有效的进攻方式，因此，“反 Glaze”的策略仍有更多的回旋余地。
（1）提高反制成本
在很多人看来，这是一场没完没了的猫捉老鼠的游戏。这一论调在某种程度上是正确的，但是它想要延长每个回合的反措施循环时间。此外，为了防止 Glaze被大量使用，必须保证所有针对它的对策都是昂贵的。对于大部分的艺术家来说，如果能提高破解这个系统的代价，就不值得去做这些事情，去分析他们的作品，去构建一个更加清晰的画面，去模仿他们的艺术风格。这样做的目的就是要将这些标准提高到尽可能高的程度，这样就可以使那些模仿者望而却步，转而转向其它更有利润的行业。
（2）加强宣传，提高相关人员素养
但是，即便是价格提高了，财大气粗的人工智能巨人也会为受欢迎的艺术家们花大价钱去复制他们的作品。毕竟这些公司的资源非常丰富，想要挖掘出其中的潜力，轻而易举。但是，它至少可以阻止那些小工场水平的模仿，因为这个小组相信，“它们无法承担避开格拉斯所需的庞大运算能力。”更何况对于一家财大气粗的人工智能巨头而言，即便不是什么大不了的事情，名声还是很重要的。如果他们真的对这些技术进行了研究，那么他们所谓的“窃取公共数据”就显得有些力不从心了。
研究小组强调：“在这个事件中，大部分人会对事件作出清晰的评判，不管是从道德上还是从道德上。”如果人工智能以个人为目标，在没有得到允许和授权的情况下，有意识地模仿他人的作品，那么就会造成严重的道德缺陷和错误的决策。这对他们来说，是一件好事。换言之，所有的对策自然都是不道德的。这样的话，就可以让那些大公司不敢轻举妄动了，说不定还会鼓励他们去保护自己的作品。”
有了 Glaze，更多的研究者将会被激发出来，为人类的创造性而努力。我们希望这一目标能够持续下去，例如创造出一个比“Glaze”更好的结果，从而在今后的对抗中起到强有力的作用。这也是该计划的一个主要目的，那就是唤起人们对此问题的注意，珍视这些技术和研究成果，并尽可能地向参加者提供帮助。同时，我们也应该注意到，一些人由于声音太小，不能用科技手段表达他们的意见。所以，我们希望，在这个多元的艺术团体中，能够得到更多的重视，也唯有如此，我们的这一“旗帜鲜明”的抗争，才能获得胜利。
绘画师与AI的战争: https://zhuanlan.zhihu.com/p/611136956
放开那个艺术家！Glaze保护艺术免受AI窥探：https://zhuanlan.zhihu.com/p/616819820
