27
4
除了数值计算之外，是否有一种快速方法来获取协方差矩阵(我的网络激活)的导数？
我试图将其用作深度神经网络中成本函数中的惩罚项，但为了通过我的层反向传播误差，我需要获得导数。
在Matlab中，如果“a”是第i层的激活矩阵(神经元*样本)，“da”是激活函数的导数:
Trung tâm cá nhân
Điều phát hành
từ bỏcovariance = a * a' / (size(a,2)-1);
到目前为止我已经尝试过:
covarDelta = (da*a' + a*da' ) / (size(a,2)-1);
但奇怪的是，当我导出 aa' 实际上是 aa=a.^2 时，我已经更接近数值计算的梯度(没有意义，但它改进了事情有点):
covarDelta = 2*a/size(a,1);
但是没有一个是正确的。知道如何近似协方差的导数吗？
编辑:我不使用协方差矩阵本身作为惩罚项，我取其所有元素的平均值并将该数字添加到成本函数中。我使用这种方法是因为我试图提出一个惩罚项，当信号之间总体协方差更大时，该惩罚项会更大。
注意:我的目标是在训练期间最小化信号之间的相似性(我也尝试过惩罚成对的互信息，但也找不到计算其导数的方法)。
编辑2:我最终使用了已接受答案提供的相同导数，但我已将成本项更改为mean(sqrt(x.^2))。这样负协方差和正协方差都会增加惩罚，并且导数是相同的。
câu trả lời hay nhất
biên tập:
假设我们只有一个三维数据点a = [a1 a2 a3]'，因为外积矩阵中所有元素的总和a*a' code>相当于(a1+a2+a3)^2的展开，矩阵的均值是(a1+a2+a3)^2/(3*3)。因此在这种情况下，每个维度的导数具有相同的值2*(a1+a2+a3)/(3*3)。
对于更多数据点，该术语变为 ((a1+a2+a3)^2+(b1+b2+b3)^2+...)/(3*3)，并且数据点 x 的导数为 2*(x1+x2+x3)/(3*3)(每个维度的值相同)。
简单地取平均值可能不适合您的需求，因为它会抵消协方差矩阵中的正值和负值。
目前我没有环境来验证我的答案，错误的地方请指正。
原帖:
通常人们会使用标量值作为成本，而不是(协方差)矩阵。
如果我们将协方差表示为函数cov(x)，它接受一个矩阵作为输入并输出一个矩阵。
所以精确导数不是单个矩阵，因为它对输入矩阵每个元素的偏导数都是一个矩阵。
假设输入矩阵 A 的维度为 m*n，则输出矩阵 C 的维度为 m*m。导数 dA/dC 应该是 m*m*m*n 矩阵。请参阅../../../tutorials/MatrixRecipes.pdf了解逐个矩阵微分的详细信息。
关于machine-learning - 如何计算协方差的导数/梯度？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35084254/
27
4
0
进程虚拟机和系统虚拟机有什么区别？ 我的猜测是，进程 VM 没有为该操作系统的整个应用程序提供一种操作系统，而是为某些特定应用程序提供环境。 系统虚拟机为操作系统提供了一个安装环境，就像 Virtua
我写了一个 C# windows 应用程序表单，它在客户端机器上运行并连接到另一台机器上的 SQL 服务器。在 C# 中建立连接时，我使用了像这样的 dll 1)microsoft.sqlserver
作为我作业的一部分，我正在处理几个数据集，并通过线性回归查找它们的训练错误。我想知道标准化是否对训练误差有影响？对于标准化前后的数据集，我的相关性和 RMSE 是相等的。 谢谢 最佳答案 很容易证明，
我在公司数据中心的 linux VM 上安装了 docker-engine。我在 Windows 上安装了 docker-machine。我想通过我的 Windows 机器管理这个 docker-en
我在我的 PC 上运行 SAS Enterprise Guide 以连接到位于我们网络内的服务器上的 SAS 实例。 我正在编写一个将在服务器上运行的 SAS 程序，该程序将使用 ODS 将 HTML
我正在创建一个包含 ASP.Net HttpModule 和 HttpHandler 的强签名类库。 我已经为我的库创建了一个 visual studio 安装项目，该项目在 GAC 中安装了该库，但
我试过 docker-machine create -d none --url tcp://:2376 remote并复制 {ca,key,cert}.pem (客户端证书)到机器目录。然后我做了 e
请注意 : 这个问题不是关于 LLVM IR , 但 LLVM 的 MIR ，一种低于前一种的内部中间表示。 本文档关于 LLVM Machine code description classes ，
我理解图灵机的逻辑。当给出图灵机时，我可以理解它是如何工作的以及它是如何停止的。但是当它被要求构造图灵机，难度更大。 有什么简单的方法可以找到问题的答案，例如: Construct a Turing
我不确定我是否理解有限状态机和状态机之间是否有区别？我是不是想得太难了？ 最佳答案 I'm not sure I understand if there is a difference between
我遵循 docker 入门教程并到达第 4 部分，您需要使用 virtualbox ( https://docs.docker.com/get-started/part4/#create-a-clus
我使用 Virtual Machine Manager 通过 QEMU-KVM 运行多个客户操作系统。我在某处读到，通过输入 ctrl+alt+2 应该会弹出监视器控制台。它不工作或禁用。有什么办法可
当我尝试在项目中包含 libc.lib 时，会出现此错误，即使我的 Windows 是 32 位，也会出现此错误。不知道我是否必须从某个地方下载它或什么。 最佳答案 您正在尝试链接为 IA64 架构编
生成模型和判别模型似乎可以学习条件 P(x|y) 和联合 P(x,y) 概率分布。但从根本上讲，我无法说服自己“学习概率分布”意味着什么。 最佳答案 这意味着您的模型要么充当训练样本的分布估计器，要么
我正在使用 visual studio 2012.我得到了错误 LNK1112: module machine type 'x64' conflicts with target machine typ
使用 start|info|stop|delete 参数运行 boot2docker导致错误消息: snowch$ boot2docker start error in run: Failed to
到目前为止，我一直只在本地使用 Vagrant，现在我想使用 Azure 作为提供程序来创建 VM，但不幸的是，我遇到了错误，可以在通过链接访问的图像上看到该错误。我明白它说的是什么，但我完全不知道如
这个问题在这里已经有了答案: 关闭 10 年前。 Possible Duplicate: linking problem: fatal error LNK1112: module machine t
我正在使用 Nodejs 的 dgram 模块运行一个简单的 UDP 服务器。相关代码很简单: server = dgram.createSocket('udp4'); serve
嗨，我收到以下错误，导致构建失败，但在 bin 中创建了 Wix 安装程序 MSI。我怎样才能避免这些错误或抑制？ 错误 LGHT0204:ICE57:组件 'cmp52CD5A4CB5D668097
Tôi là một lập trình viên xuất sắc, rất giỏi!