SCI论文（www.lunwensci.com）:
摘要：保护人工智能模型不被非法窃取、分发和滥用是必须面对和解决的难题。针对该问题,利用零水印不修改任何信息的特性,提出了基于零水印的神经网络模型版权保护方法。首先,提取神经网络模型特征图,构造特征序列；然后,基于秘钥对版权图像加密；最后,构造零水印信息,进行版权的认证。实验结果表明,该算法能够对神经网络模型进行版权保护和鉴别,且不破坏模型结构,有较高的保真性。此外,该算法对常规的模型攻击具有较强的鲁棒性,BCR系数保持在0.5以上,NC值保持在0.9以上。
关键词：零水印；卷积神经网络；模型版权保护
Copyright Protection of Neural Network Model Based on Zero-watermark
QIN Jianhao,LI Qianzhu,ZHOU Shouquan,SHI Hui
(School of Computer and Information Technology,Liaoning Normal University,Dalian Liaoning 116000)
【Abstract】：Protecting AI models from distribution is a challenge.Aiming at the problem,a neural network model copyright protection method based on zero watermark is proposed by making use of the feature of zero watermark not modifying information.Firstly,extract the neural network model feature map and construct the feature sequence;Then,encrypt the image based on the secret key;Finally,construct zero watermarks.Experimental results show that the proposed scheme achieves copyright protection,and holds high modelfidelity.In addition,the scheme has strong robustness to conventional model attacks,and the BCR values are above 0.5,and the NC values are kept above 0.9.
【Key words】：zero watermarking;convolutional neural network;model copyright protection
0引言
在人工智能领域发展的过程中,如何保护神经网络模型,避免非法窃取和非法滥用等行为的发生,这些难题是当前必须要去解决的。基于人工智能模型产权保护的数字水印技术应运而生。
自2017年Uchida等人[1]首次提出了利用正则化技术对神经网络模型嵌入水印以来,神经网络水印模型受到了密切关注,已经取得了众多研究成果。从水印嵌入的角度,大致有三类主流方法：第一类,使用特殊的样本集,使得神经网络输出预期承载水印,Zhang等人[2]更改标签,并添加特定的输入模式,使神经网络学习到该模式,在模式与标签之间,建立起特定的对应关系,通过特殊样本集,便可在水印检测时根据目标神经网络的输出确定产权；第二类,修改结构或参数,以承载水印。Wang等人[3]为改进水印嵌入和提取性能,提出利用额外的神经网络；第三类,调制神经网络的输出结果以承载水印,Zhang等人[4]通过此方法,对输出图像添加水印,在鉴定版权时,检测输出图像中的水印。
然而,上述模型水印版权保护算法,都不可避免修改模型参数或结构,或者添加信息,这些修改很可能影响模型的应用效果,使神经网络失去商业价值。针对上述问题,本文提出了基于零水印的神经网络模型版权保护方法。
1方案设计
以VGG-16模型为例,采用两种不同的方法,利用模型所提取的特征图构造零水印。为提高版权信息安全性,对其进行加密,如图1所示为所提出的算法流程图。
1.1 VGG神经网络模型特征图提取
VGG-16由13个卷积层和3个全连接层以及Softmax分类层组成。
VGG-16网络模型的特征提取结构如图2所示。
Step1.输入512×512彩色图像；
Step2.对图像进行conv1_1、conv1_2卷积池化,过滤器尺寸[3,3,64]；
Step3.将Step2输出的图像进行conv2_1、conv2_2卷积池化,过滤器尺寸[3,3,128]；
Step4.将Step3输出图像进行conv3_1、conv3_2、conv3_3卷积池化,过滤器尺寸[3,3,256]；
Step5.将Step4输出图像进行conv4_1、conv4_2、conv4_3卷积池化,过滤器尺寸[3,3,512]；
Step6.将Step5输出图像进行conv5_1、conv5_2、conv5_3卷积池化,过滤器尺寸[3,3,512]；
Step7.对Step6输出图像进行三次全连接操作得到1000维的向量。
选取Step5输出的特征图G为特征图,尺寸为[32,32],如图3所示是输入图像和对应的特征图。
1.2版权信息置乱
本文改进了文献[5],提出了一种置乱方法。首先将图像分成不重叠子块,再生成秘钥序列,最后依据秘钥将图像块位置置乱,图像置乱流程如图4所示。
Step1.密钥获取。利用16×16二值水印W0,生成16个16bit的二进制序列,得到密钥Kt(t∈0,1…15)。
Step1.1将水印图像分成不重叠的16×1子块,共16个子块；
Step1.2通过公式(1),按照从左到右的顺序计算密钥Kt每一位的值,其中t∈[0,15],j∈[0,15]
Step1.3以此类推,求出全部秘钥Kt(t∈0,1…15)。
Step2.图像分块。将m×n的图像分为不重叠的16个大块,每个大块尺寸大小为m/4×n/4。再将每一大块进一步分成不重叠的16个小块,小块尺寸为m/16×n/16。
Step3.对每个大块内16个小块实施位置置乱。首先将大块内每一个小块进行顺序编号1,2,3……16,再依据Step1中生成的秘钥Kt进行位置置乱。若秘钥序列第1个位置为0,则将第1个图像块放在位置序列的最右侧；否则,将其置于位置序列的最左侧。
以此类推,按从左至右,从上到下的顺序,将每个大块中的16个小块按照上述的方法,依据秘钥Kt,进行位置置乱。如图5所示是以一组密钥为例,给出了具体置乱过程。如图6所示是以Baboon图像为例,给出了分块置乱的结果。
Step4.大块位置置乱。对每大块按照Step3中的方法使用其中一个密钥,进行位置置乱,得到置乱后的图像M。如图7所示是整体置乱的结果。
1.3特征提取
本文不仅使用深度学习中的特征提取的方法,还使用传统的特征提取的方法,分别对模型训练所得到的特征图以及版权信息进行特征提取。
Step1.对VGG-16提取的特征图和水印图像分别计算像素平均值得到总体均值B。
Step2.分别对VGG-16提取的特征图和水印图像进行分块,将其分为8×8个不重叠块,并分别求出每个块的均值bi。
Step3.通过公式(2)得到特征信息list[i];,其中i∈[0,63]。
特征提取的过程是通过将每个块的均值分别与总体像素的均值进行比较,如果该块的均值小于总体均值,则标记为0,否则标记为1,得到一个64位的二进制序列。如图8所示,该图像总体的像素均值B为126,图中所示为每块均值bi,最终该图像所得到的特征序列为：0010111010 1111000111000010110100000000110 00100111100111111001011。
模型经过4次卷积操作之后得到的特征图,以及版权信息置乱加密后的图像,分别进行上述特征提取,得到特征图信息list1和版权水印图像的特征信息list2。
1.4零水印信息构造
第一种：将特征信息list1和特征信息list2,根据公式(3)进行异或得到零水印信息W1。零水印构造流程图如图9所示。
第二种：将特征图G反复填充扩展成512×512,得到与图像M等尺寸的图像G',直接将其与图像M异或得到零水印信息W2,如公式(4)所示。如图10、图11所示分别给出了扩展后特征图和零水印信息W2。
1.5版权信息的检测
版权信息检测的流程如图12所示。本文分别采用两种方法完成检测工作。
1.5.1 BCR检测法
BCR检测法是针对2.4中第一种方法生成的零水印信息W1来进行BCR计算,比较阈值验证版权归属。
Step1.将图像S输入到待检测网络模型M0,获取特征图PM0。
Step2.对特征图PM0进行2.3中的特征提取得到L1。
Step3.将零水印信W1息与特征信息L1实施异或操作得到图像信息,如公式(5)所示。
Step4.对版权信息C和水印W0进行2.2的加密操作及2.3的特征提取操作,得到版权图像的特征信息L。
Step5.版权信息采用比特正确率法(BCR)[6]进行检测,BCR的计算公式如公式(6)所示。
其中,⊕代表异或运算。若L和完全一致,BCR值为1。将BCR值与设定阈值T比较,若大于T，则证明存在水印,即该模型属于该版权所有者,反之则不存在。
1.5.2 NC值检测法
NC值检测法则是针对2.4中第二种方法生成的零水印信息W2来进行NC值计算,比较阈值验证版权归属。
Step1.将图像输入待检测网络模型M0,获取到特征图PM0。
Step2.对特征图PM0进行填充尺寸扩展,扩展后的图像G0的尺寸为512×512。
Step3.将零水印信息W2与图像G0进行异或操作得到图像Pw,如公式(7)所示。
Step4.计算水印图像M和Pw之间的NC值,如公式(8)所示。
将NC值与设定阈值T比较,若大于T1,则该模型属于该版权所有者,反之则不存在。
2实验与结果分析
2.1实验设置
本实验采用的神经网络模型为VGG-16,测试所使用的数据集为CIFAR-10数据集、Kaggle网站上的Animal 151数据集。实验的评价指标是AP、BCR、NC,其中AP用来衡量模型的保真度即模型分类结果准确率,BCR用来验证水印的存在性,设定阈值T为0.5,即BCR值大于T,即可验证模型的版权,NC值用来验证版权归属,设定阈值T1为0.9,即NC值大于T1,即可证明版权归属。
2.2结果分析
2.2.1保真度分析
本文设计的基于零水印的模型版权保护方法,不修改模型结构,对原神经网络模型最终的分类结果不产生影响。
将Bell Pepper图像输入到神经网络中,得到的分类概率结果如表1所示。由表1可知,其中Bell Pepper概率值约为97%,表明最终分类结果为Bell Pepper,该结果与输入图片的判定标签一致。
为进一步验证方案的保真性,对神经网络使用Kaggle-Animals 151 Dataset数据集进行验证,分类结果及准确率如表2所示。由表2可知,所有测试结果的平均准确率均为100%。
以CIFAR-10数据集为例,比较本文算法与文献[7]模型保护算法的测试精度,如图13所示。相较于其他的模型版权保护算法,本文设计模型版权保护方法不对原模型进行修改,具有较好的保真度,更适用于神经网络。
2.2.2安全性分析
密钥空间越大,说明系统的安全性越高,本文对版权信息的加密需要将图像分为16个大块,每个大块又细分为16个小块,若想要穷举出其结果,需要进行(16!)17≈2.82×10226次计算。而密钥空间为2100≈1030时,就可以抵抗穷举攻击,2.82×10226远远大于1030。因此,本文设计的零水印算法具有较高的安全性。
2.2.3鲁棒性分析
本文选取常见的模型微调的攻击方式对测试模型进行攻击,具体的攻击类型如表3所示,测试模型遭受不同类型攻击后的BCR和NC值如表4、图14、图15所示。
由图14、图15可知,在对测试模型进行常见的7种模型微调攻击之后,测试图像的BCR值和NC值均在设定的阈值之上,表明本文设计的基于零水印的模型保护算法具有一定的鲁棒性,可以有效抵抗在网络传输使用的过程中对模型的篡改。
3结语
本文提出一种基于零水印的神经网络模型保护算法,具有良好的保真度、鲁棒性和安全性。未来将进一步结合密码学和其他认证技术,构建相对完善的神经网络模型产权保护模型。
参考文献
[1]UCHIDA Y,NAGAI Y,SAKAZAWA S,et al.Satoh,Embedding Watermarks Into Deep Neural Networks[C]//In Proc.ACM International Conference on Multimedia Retrieval,Bucharest,Romania,2017:269-277.
[2]ZHANG J L,GU Z S,JIANG J Y,et al.Molloy,Protecting Intellectual Property of Deep Neural Networks with Watermarking[C]//In Proc.Asia Conference on Computer and Communications Security,Incheon,Republic of Korea,2018:159-172.
[3]WANG J F,WU H Z,ZHANG X P,et al.Watermarking in Deep Neural Networks Via Erroer Back-propagation[C]//In Proc,IS&T Electronic Imaging,Media Watermarking,Security and Forensics,San Francisco,CA,USA,2020,22-1-22-9(9).
[4]ZHANGJ,CHEN D D,LIAOJ,et al.Deep Model Intellectual Property Protection Via Deep Watermarking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2021(99):1.
[5]杨晓元,毕新亮,刘佳,等.结合图像加密与深度学习的高容量图像隐写算法[J].通信学报,2021,42(9):96-105.
[6]朱光.基于零水印的图博档彩色图像资源版权保护策略研究[J].现代图书情报技术,2015(12):89-94.
[7]许向蕊.基于序列号水印的深度学习模型知识产权保护机制[D].武汉:武汉轻工大学,2021.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/49308.html
