MATLAB SVD入门指南：为什么以及如何使用 – wiki大全

作者： /

MATLAB SVD 入门指南：为什么以及如何使用

奇异值分解（Singular Value Decomposition，简称 SVD）是线性代数中一个强大且应用广泛的工具。它能够将任何实数或复数矩阵分解为三个更简单的矩阵的乘积，揭示了矩阵内在的结构和信息。在数据科学、图像处理、机器学习、统计学等众多领域，SVD 都扮演着核心角色。本文将深入探讨 SVD 的原理、其在 MATLAB 中的实现以及它在实际问题中的应用。

1. 什么是奇异值分解 (SVD)？

对于任意一个 $m \times n$ 的实数矩阵 $A$，SVD 将其分解为以下形式：

$A = U \Sigma V^T$

其中：
* $U$ 是一个 $m \times m$ 的正交矩阵，其列向量（左奇异向量）构成 $A A^T$ 的特征向量。
* $\Sigma$ 是一个 $m \times n$ 的对角矩阵，其对角线上的元素 $\sigma_i$ 称为奇异值。奇异值非负，并通常按降序排列。非对角线元素均为零。奇异值的数量等于矩阵 $A$ 的秩。
* $V^T$ 是一个 $n \times n$ 的正交矩阵 $V$ 的转置，其列向量（右奇异向量）构成 $A^T A$ 的特征向量。

简而言之，SVD 提供了一种将复杂的矩阵操作分解为一系列更简单、相互独立的旋转（由 $U$ 和 $V^T$ 表示）和缩放（由 $\Sigma$ 表示）变换的方式。

2. 为什么需要使用 SVD？

SVD 之所以如此重要，是因为它能够有效地揭示数据中的以下关键信息：

  1. 降维与数据压缩： 奇异值的大小反映了对应奇异向量所代表信息的重要性。通过保留最大的几个奇异值及其对应的奇异向量，我们可以用更少的维度来近似原始矩阵，从而实现数据的降维和压缩，同时尽可能保留重要的信息。这在处理高维数据时尤为有用。
  2. 去噪： 数据中的噪声通常对应于较小的奇异值。通过舍弃这些小奇异值，可以有效去除数据中的噪声成分，恢复信号的真实结构。
  3. 秩的确定： 矩阵的秩等于其非零奇异值的数量。SVD 提供了一种数值稳定地计算矩阵秩的方法。
  4. 矩阵近似： SVD 提供了最佳低秩近似（Frobenius 范数意义下）。这意味着我们可以找到一个给定秩 $k$ 的矩阵 $A_k$，使得它与原始矩阵 $A$ 的差异最小。
  5. 主成分分析 (PCA) 的基础： SVD 与 PCA 密切相关。对数据协方差矩阵进行 SVD，其奇异值和奇异向量可以直接用于 PCA，揭示数据的主要变化方向。
  6. 推荐系统： 在推荐系统中，SVD 可以用于构建用户-物品评分矩阵的低秩近似，从而预测用户对未评价物品的偏好。
  7. 图像处理： 除了图像压缩，SVD 还可用于图像特征提取、图像恢复和水印嵌入。

3. 如何在 MATLAB 中使用 SVD？

MATLAB 提供了内置函数 svd 来执行奇异值分解。

基本语法：

matlab
[U, S, V] = svd(A);
此命令将矩阵 A 分解为 U、S（对角矩阵 $\Sigma$）和 V（矩阵 $V$）。注意 MATLAB 返回的是 $V$，而不是 $V^T$。

示例：

“`matlab
A = [1 2 3; 4 5 6; 7 8 9];
[U, S, V] = svd(A);

disp(‘U = ‘);
disp(U);

disp(‘S = ‘);
disp(S); % S 是一个对角矩阵，其对角线元素是奇异值

disp(‘V = ‘);
disp(V);

% 验证 A = U * S * V’
A_reconstructed = U * S * V’;
disp(‘Reconstructed A = ‘);
disp(A_reconstructed);

% 比较原始 A 和重构 A (由于浮点数精度，可能存在微小差异)
disp(‘Difference (A – A_reconstructed) = ‘);
disp(A – A_reconstructed);
“`

紧凑形式 (Economy Size SVD)：

当 m > n 时，svd(A, 'econ') 或 svd(A, 0) 返回紧凑形式的分解，其中 U 是 $m \times n$，S 是 $n \times n$，V 是 $n \times n$。这在存储和计算上更高效，因为它只计算了“有效”的部分。

“`matlab
A = rand(5, 3); % 5×3 矩阵
[U_econ, S_econ, V_econ] = svd(A, ‘econ’);

disp(‘Size of U_econ:’);
disp(size(U_econ)); % 5×3

disp(‘Size of S_econ:’);
disp(size(S_econ)); % 3×3

disp(‘Size of V_econ:’);
disp(size(V_econ)); % 3×3
“`

4. SVD 的实际应用案例

案例 1: 图像压缩

图像可以被表示为矩阵（例如，灰度图像是一个二维矩阵，彩色图像是三个颜色通道的二维矩阵）。通过 SVD 我们可以对其进行低秩近似，达到压缩的目的。

“`matlab
% 加载一个图像（MATLAB自带示例图像）
img_original = imread(‘peppers.png’);
img_gray = rgb2gray(img_original); % 转换为灰度图像
img_double = im2double(img_gray); % 转换为双精度浮点数

% 执行 SVD
[U, S, V] = svd(img_double);

% 选择不同数量的奇异值进行图像重构
num_singular_values = [10, 50, 100]; % 尝试不同的秩

figure;
subplot(2, 2, 1);
imshow(img_gray);
title(‘Original Gray Image’);

for i = 1:length(num_singular_values)
k = num_singular_values(i);

% 构建低秩近似
% 仅保留前 k 个奇异值和对应的奇异向量
U_k = U(:, 1:k);
S_k = S(1:k, 1:k);
V_k = V(:, 1:k);

img_compressed = U_k * S_k * V_k';

subplot(2, 2, i + 1);
imshow(img_compressed);
title(sprintf('Compressed with k = %d', k));

end
sgtitle(‘Image Compression using SVD’);
“`
通过这个例子，你可以看到，即使只用一小部分奇异值（例如 $k=50$），重构的图像仍然能很好地保留原始图像的主要特征，这就是 SVD 实现数据压缩的原理。

案例 2: 降噪

假设我们有一个含噪的数据矩阵。SVD 可以帮助我们分离信号和噪声。

“`matlab
% 生成一个简单的信号（例如，一个正弦波）
t = 0:0.01:2*pi;
signal = sin(t);

% 添加高斯噪声
noise = 0.5 * randn(size(signal));
noisy_signal = signal + noise;

% 将信号表示为矩阵（这里为了演示SVD，我们创建一个多行重复信号的矩阵）
% 实际应用中，数据矩阵的每一行或每一列可能是一个不同的观测
A = repmat(noisy_signal, 10, 1); % 创建一个10行100列的矩阵，每行是带噪信号

% 执行 SVD
[U, S, V] = svd(A);

% 观察奇异值
singular_values = diag(S);
disp(‘Singular values:’);
disp(singular_values’);

% 假设最大的几个奇异值代表主要信号，较小的代表噪声
% 我们只保留前 k 个奇异值进行重构
k = 1; % 假设主要信号只有一个显著分量

U_k = U(:, 1:k);
S_k = S(1:k, 1:k);
V_k = V(:, 1:k);

A_denoised = U_k * S_k * V_k’;

% 绘制结果
figure;
plot(t, signal, ‘b’, ‘LineWidth’, 1.5);
hold on;
plot(t, noisy_signal, ‘r:’, ‘LineWidth’, 0.8);
plot(t, A_denoised(1,:), ‘g–‘, ‘LineWidth’, 1.5); % 取去噪后矩阵的第一行作为去噪信号
legend(‘Original Signal’, ‘Noisy Signal’, ‘Denoised Signal (SVD)’);
title(‘Signal Denoising using SVD’);
xlabel(‘Time’);
ylabel(‘Amplitude’);
grid on;
“`
在这个例子中，通过保留最主要的奇异值，我们成功地从噪声信号中提取出了原始的正弦波模式。

案例 3: 主成分分析 (PCA)

PCA 旨在通过线性变换将原始数据转换为一组新的、不相关的坐标，这些坐标被称为主成分，它们按方差降序排列。SVD 是实现 PCA 的一种高效且数值稳定的方法。

“`matlab
% 生成一些样本数据
rng(0); % 使得随机数可复现
data = [randn(100, 1) + 2, randn(100, 1) * 0.5;
randn(100, 1) – 2, randn(100, 1) * 0.5]; % 两组数据点
data = data * [1 0.5; 0.5 1]; % 引入相关性

% 数据中心化 (PCA 的第一步)
mean_data = mean(data);
centered_data = data – mean_data;

% 对中心化数据执行 SVD
[U, S, V] = svd(centered_data);

% V 的列是主成分方向 (特征向量)
principal_components = V;
% S 的对角线元素奇异值的平方与样本数量减1之比，是主成分的方差
variances = diag(S).^2 / (size(centered_data, 1) – 1);
explained_variance_ratio = variances / sum(variances);

disp(‘Principal Components (Eigenvectors):’);
disp(principal_components);

disp(‘Explained Variance Ratio for each PC:’);
disp(explained_variance_ratio’);

% 将数据投影到主成分上 (获取主成分得分)
scores = centered_data * principal_components;

% 绘制原始数据和主成分
figure;
scatter(data(:,1), data(:,2), ‘b.’);
hold on;
quiver(mean_data(1), mean_data(2), principal_components(1,1)S(1,1), principal_components(2,1)S(1,1), ‘r’, ‘LineWidth’, 2, ‘MaxHeadSize’, 0.5);
quiver(mean_data(1), mean_data(2), principal_components(1,2)S(2,2), principal_components(2,2)S(2,2), ‘g’, ‘LineWidth’, 2, ‘MaxHeadSize’, 0.5);
title(‘PCA using SVD’);
xlabel(‘Feature 1’);
ylabel(‘Feature 2’);
legend(‘Original Data’, ‘Principal Component 1’, ‘Principal Component 2’);
axis equal;
grid on;
``
通过 SVD，我们直接得到了主成分（V` 矩阵的列）以及每个主成分所解释的方差比例，这与对协方差矩阵进行特征分解是等价的。

5. 总结

奇异值分解是一个极其灵活和强大的数学工具，它不仅仅是线性代数中的一个概念，更是解决实际工程和科学问题的基石。无论是在数据压缩、图像处理、信号去噪，还是在更复杂的机器学习算法中，SVD 都展现了其不可替代的价值。掌握 SVD 的原理并在 MATLAB 中熟练运用 svd 函数，将极大地拓展你在数据分析和处理方面的能力。希望这篇指南能帮助你开启 SVD 的学习之旅！

提示:
* svd 函数返回的奇异值是按降序排列的，这意味着第一个奇异值最大，其对应的奇异向量捕获了数据中最重要的信息。
* 在进行低秩近似时，选择合适的 $k$ 值（保留的奇异值数量）至关重要，它需要在信息保留和压缩程度之间取得平衡。
* 对于非常大的稀疏矩阵，MATLAB 提供了 svds 函数，它专门用于计算部分奇异值和奇异向量，这在处理大规模数据时效率更高。

滚动至顶部