Trung tâm cá nhân
Bài viết phát hành
từ bỏ
Bài viết phổ biến của tác giả
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
hai mươi bốn
4
Tôi đang sử dụng Explaining and Harnessing Adversarial Examples 中的 FGSM 方法实现对抗性训练使用自定义损失函数:
使用自定义损失函数在 tf.keras 中实现，它在概念上如下所示:
model = Sequential([
...
])
def loss(labels, logits):
# Compute the cross-entropy on the legitimate examples
cross_ent = tf.losses.softmax_cross_entropy(labels, logits)
# Compute the adversarial examples
gradients, = tf.gradients(cross_ent, model.input)
inputs_adv = tf.stop_gradient(model.input + 0.3 * tf.sign(gradients))
# Compute the cross-entropy on the adversarial examples
logits_adv = model(inputs_adv)
cross_ent_adv = tf.losses.softmax_cross_entropy(labels, logits_adv)
return 0.5 * cross_ent + 0.5 * cross_ent_adv
model.compile(optimizer='adam', loss=loss)
model.fit(x_train, y_train, ...)
这对于简单的卷积神经网络来说效果很好。
hiện hữu logits_adv = model(inputs_adv) 调用期间，模型被第二次调用。这意味着，它将使用与 model.inputs 的原始前馈传递不同的丢弃掩码。然而，inputs_adv 是使用 tf.gradients(cross_ent, model.input) 创建的，即使用原始前馈传递中的 dropout mask。这可能会出现问题，因为允许模型使用新的 dropout mask 可能会削弱对抗批处理的效果。
由于在 Keras 中实现 dropout mask 的重用会很麻烦，因此我对重用 mask 的实际效果感兴趣。这有什么不同吗？合法示例和对抗示例的测试准确性？
1 Câu trả lời
我尝试在 MNIST 上使用简单的 CNN 进行对抗性训练步骤的前馈传递过程中重用 dropout mask。我选择了与此cleverhans tutorial中使用的相同的网络架构。在 softmax 层之前有一个额外的 dropout 层。
这是结果(红色=重用dropout mask，蓝色=简单实现): 
实线代表合法测试示例的准确性。虚线表示测试集上生成的对抗性示例的准确性。
总之，如果您仅使用对抗性训练作为正则化器来提高测试准确性本身，那么重复使用 dropout mask 可能不值得。对于对抗性攻击的鲁棒性来说，它khả thi会产生很小的影响。但是，您需要对其他数据集、架构、随机种子等进行进一步的实验，才能做出更有信心的声明。
为了保持上图的可读性，我省略了未经对抗训练的模型的对抗测试示例的准确性。该值约为 10%。
您可以在 this gist 中找到此实验的代码。通过 TensorFlow 的 eager 模式，实现 dropout mask 的存储和重用非常简单。
关于python - 在对抗训练期间是否应该重复使用 Dropout 面具？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53395329/
hai mươi bốn
4
0
我想知道如何考虑需要您做出某些选择才能看到最终结果的搜索系统。我说的是 select 表单，您可以在其中根据您的选择继续操作，然后您会看到结果。 下面描述了我正在谈论的一个随机示例。想象一下 Init
您好，我目前正在编写一些软件来管理我们的库存。我搜索了 2 个表 master_stock(保存每一个股票代码和描述)库存(保存库存代码、地点、数量...) 一切都很好，但这是我遇到的问题。 假设我的
我有 2 个表，我想合并其数据。id 是我的关键字段(增量且不同)。表1和表2字段说明例如:id - 名称 - 值 我想将表2的所有数据插入表1，它们有不同的数据，但在某些行中有相同的id。 所以当我
我正在努力解决汇编中的一个问题，我必须获取十六进制代码的第一个字节 (FF) 并将其复制到整个值中: 0x045893FF input 0xFFFFFFFF output 我所做的
我有 Eclipse Indigo 版本，我可以在其中运行 Java 和 C++ 项目。 但我只想使用另一个 Eclipse 来编写 C++ 项目。所以我将 eclipse(不是工作区)的源文件夹复制
This question already has answers here: What is a NullPointerException, and how do I fix it? (12个答案)
This question already has answers here: Numbering rows within groups in a data frame (8个答案) 5个月前关闭。
我知道用q记录到寄存器中，但我想知道是否可以设置一些东西来快速调用最后一个记录，就像一样。 回顾最后一个简短的编辑命令(有关 的讨论请参阅 here。)。 我知道@@，但它似乎只有在执行@z之后才起作
来自 Eclipse 并且一直习惯于复制行，发现 Xcode 没有这样的功能是很奇怪的。或者是吗？ 我知道可以更改系统范围的键绑定(bind)，但这不是我想要的。 最佳答案 要删除一行:Ctrl-A
假设我有一个包含元素的列表，例如[1,2,3,4,5,6,7,8]。我想创建长度为 N 的该元素的所有排列。 因此，对于N = 4，它将是[[1,1,1,1],[1,1,1,2],[1,1,2,1],
我有一个带有 JMenu 的 JFrame。当我在某些情况下添加包含图像的 JPanel 时，程序首次启动时菜单会重复。调整大小时重复的菜单消失。任何建议都非常感激。谢谢。代码如下: public c
我正在尝试查找目录中文件的重复项。 我对这个 block 有一个问题，它以文件地址作为参数: public void findFiles(ArrayList list){ HashMap hm
我知道这个问题已经发布并且已经给出了答案，但我的情况不同，因为我在单个方法上填充多个下拉列表，所以如果我点击此链接 After every postback dropdownlist items re
我正在尝试为我的日历应用程序实现重复模式。我希望它的工作方式与 Outlook 在您设置重复约会时的工作方式相同。 public async Task> ApplyReccurrencePeriod
我有一个利用 cookie 来支持准向导的应用程序(即，它是一组相互导航的页面，它们必须以特定顺序出现以进行注册)。 加载 Logon.aspx 页面时 - 默认页面 - 浏览器 cookie 看起来
我有 3 个输入，代码检查它们是否为空，如果为空，则将变量值添加到输入中。 所以我有 3 个具有值的变量: var input1text = "something here"; var input2t
根据数组的长度更改数组的每个元素的最佳方法是什么？ 例如: User #1 input = "XYZVC" Expected Output = "BLABL" User #2 input = "XYZ
我在让 Algolia 正常工作时遇到了一些麻烦。我正在使用 NodeJS 并尝试在我的数据库和 Algolia 之间进行一些同步，但由于某种原因似乎随机弹出大量重复项。 如您所见，在某些情况下，会弹
遵循以下规则: expr: '(' expr ')' #exprExpr | expr ( AND expr )+ #exprAnd | expr ( OR expr )+ #exprO
我有一个布局，我想从左边进入并停留几秒钟，然后我希望它从右边离开。为此，我编写了以下代码: 这里我在布局中设置数据: private void loadDoctor(int doctorsInTheL
Tôi là một lập trình viên xuất sắc, rất giỏi!