Glaze使用说明及效果
Last updated
Last updated
Glaze官网：https://glaze.cs.uchicago.edu/
下载链接：https://glaze.cs.uchicago.edu/downloads.html
Glaze仍在开发迭代中。提供了多个版本，图中版本依次为：
Glaze 1.0.1 Windows GPU版本（需要NVIDIA显卡，满足要求的推荐该版本，处理速度会快很多）
Glaze 1.0.1 Windows CPU版本（需要5GB RAM，不需要NVIDIA显卡，处理速度慢）
Glaze 1.0.1 MacOS（MacOS 13.0 以上） M1/M2 芯片，通过CPU运行，处理时间较长
Glaze 1.0.1 MacOS（MacOS 13.0 以上） Intel 芯片，通过CPU运行，处理时间极长
GPU版本总共会需要大约5G (CPU版本总共约为3GB)的磁盘空间（那么大也是硬伤）
程序安装完毕后包括主要四个模块，
图片选择
参数调整
强度（Intensity）：提供更好的保护效果，需要花费更长的时间，同时甚至有可能造成图像更多肉眼可见的变化
渲染质量（Render Quality）：高渲染质量能带来更好的保护效果，但是会花费更久的时间
存储：选择你保存图像的路径
预览：显示需要消耗的时间以及相应的效果图
在首次打开Glaze程序后，程序会联网下载运行所需资源。如之前提到的，CPU版本总共会需要3G的磁盘空间，GPU版本约为5G的磁盘空间。
点击Run Glaze后会开始图像处理，首先是解析图片。
随后会根据参数设置进行Glazing，CPU情况下耗时较长。
GPU版本的速度会非常快（如下图），但是会需要你有相应的INVIDA显卡（5G显存以上），此处的原因是显卡的计算单元比起CPU更适用于图像处理的场景，算力也更高。图中为使用3080系列显卡的效果。
以下为使用GPU版本（CPU和GPU版本仅影响处理的速度）对图像在不同强度和渲染质量下的对比。
从左到右为依次加强强度（Intensity），从上至下为依次加强渲染质量（Render Quality），如提示中所描述的，更强的强度可能会导致更明显的肉眼可见的图像变化。而更高的渲染质量，虽然不明显，但也会为图片轻微添加肉眼可见的变化。
此处的原因是在计划添加肉眼不可见但是可以直接影响AI学习效果的像素点变化（如高斯噪声等）时，算法依然改变了图像的大面积像素点，破坏了原图的效果。而过低的保护强度又很难保证保护效果。这也是当下扰动性对抗思路的难点，即如何保证原图质量的前提下，改变少数像素点就可以更有效的增加模型学习成本，且有一定的移植性。
Faster
Medium
Slower
Slowest
需要收集多种解决方案、多个绘画模型，设立对比组，将保护/未保护的图像投喂给模型后对比模型产出图片的效果。还需要考量到被保护图片的还原度等。
选择多个AI绘图模型，例如DALL-E、Stable Diffusion、Midjourney等甚至一些AI绘画的相关平台。
选择由各种类型的艺术作品组成的测试数据集。数据集将包含各类画风和主题（以及色彩色调等，glaze等似乎对浅色色块更容易产生肉眼可见的影响），以覆盖各种艺术风格。
罗列各种可行的防御策略（扰动性对抗策略），当下有比如Glaze、Mist以及直接的高斯噪声、频域蒙版等。
最后，我们将比较AI生成的艺术作品与原始作品的差异进行对比。效果需要考虑以下方面：
- 视觉相似度：度量AI生成的艺术作品与原始作品的视觉相似性。
- 原图被影响的程度: 原图被破坏，肉眼可见的色块改变需要在可控范围内。
- 对抗性成功率：量化对抗性攻击能够使AI生成的艺术作品与原始作品在视觉上有多大差异。（可以参考Glaze论文的Artist-rated protection success rate (Artist-rated PSR)，用户评估？）
作品1
Glaze、Mist、高斯噪声...
高...
DALL-E、Stable Diffusion、Midjourney...
0.1...
作品2
...
...
...
...
作品N
...
...
...
...
以上为效果验证计划，效果验证进行中...
