articles:svd

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン 前のリビジョン
次のリビジョン		 前のリビジョン
articles:svd [2021/07/17 10:32] – [線形連立方程式を擬似逆行列で解く意味] Takashi Suehiroarticles:svd [2021/07/24 00:43] (現在) – [他の擬似逆行列を求める方法との比較] Takashi Suehiro
行 5: 行 5:
 ===== 特異値分解とは ===== ===== 特異値分解とは =====
  
-行列$A$：$(m \times n)$は，$A = UWV^T$の形に分解できる．これを特異値分解という．+行列$A$：$(m \times n)$は， 
 +$$A = UWV^T$$ 
 +の形に分解できる．これを特異値分解という 
 +(( 
 +ここは天下りです．すみません． 
 +)) 
 +．
  
 ここで， ここで，
行 36: 行 42:
  
 ===== 特異値分解と擬似逆行列 ===== ===== 特異値分解と擬似逆行列 =====
-$m = n = r$でない場合，$A$の擬似逆行列は逆行列と形式的に同じで以下のように表せる．+$m = n = r$でない場合，$A$の擬似逆行列は逆行列と形式的には全く同じで以下のように表せる．
 $$ $$
 A^{+} = VW^{-1}U^T,\;\; W^{-1}=\mathrm{diag}(1/\sigma_1,1/\sigma_2,\cdots,1/\sigma_r) A^{+} = VW^{-1}U^T,\;\; W^{-1}=\mathrm{diag}(1/\sigma_1,1/\sigma_2,\cdots,1/\sigma_r)
行 44: 行 50:
 AA^{+}A=UWV^TVW^{-1}U^TUWV^T = UWW^{-1}WV^T = UWV^T=A AA^{+}A=UWV^TVW^{-1}U^TUWV^T = UWW^{-1}WV^T = UWV^T=A
 $$ $$
-となり擬似逆行列の条件を満たしていることが確認できる．+同様に 
 +$$ 
 +A^{+}AA^{+}=VW^{-1}U^TUWV^TVW^{-1}U^T = VW^{-1}WW^{-1}U^T = VW^{-1}U^T=A^{+} 
 +$$ 
 +また 
 +$$ 
 +AA^{+}=UWV^TVW^{-1}U^T = UU^T 
 +$$ 
 +すなわち((実数行列なので転置で良い)) 
 +$$ 
 +(AA^{+})^T = (UU^T)^T = UU^T 
 +$$ 
 +同様に 
 +$$ 
 +A^{+}A=VW^{-1}U^TUWV^T = VV^T 
 +$$ 
 +$$ 
 +(A^{+}A)^T = (VV^T)^T = VV^T 
 +$$ 
 +となり擬似逆行列の4条件を満たしていることが確認できる．
  
 ==== 他の擬似逆行列を求める方法との比較 ==== ==== 他の擬似逆行列を求める方法との比較 ====
行 51: 行 76:
 A^+ = (A^TA)^{-1}A^T A^+ = (A^TA)^{-1}A^T
 $$ $$
-これもまた以下を満たし擬似逆行列であることが分かる．+これもまた以下および他の条件を満たし擬似逆行列であることが分かる．
 $$ $$
 AA^+A = A(A^TA)^{-1}A^TA = A AA^+A = A(A^TA)^{-1}A^TA = A
行 63: 行 88:
 を明らかにし，それを回避することができる． を明らかにし，それを回避することができる．
  
-ということで，**擬似逆行列の計算には特異値分解を利用する方が良い**．+ということで，**擬似逆行列の計算には特異値分解を利用する方が良い**((計算の負荷を問題にしなければということだが))．
  
 ===== 線形連立方程式の解 ===== ===== 線形連立方程式の解 =====
-線形連立方程式を擬似逆行列を用いて得ということがどういう意味を持っているのかを+線形連立方程式を擬似逆行列を用いて解くということがどういう意味を持っているのかを
 特異値分解をベースに考えてみる． 特異値分解をベースに考えてみる．
  
行 99: 行 124:
 U^T\boldsymbol{b} = WV^T \boldsymbol{x} U^T\boldsymbol{b} = WV^T \boldsymbol{x}
 $$ $$
-$U$，$V$を直交補空間の基底ベクトルを加えてそれぞれ$m \times m$，$n \times n$に拡大すると，+$U$，$V$を直交補空間の基底ベクトルを加えてそれぞれ$m \times m$，$n \times n$に拡大すると 
 +(( 
 +$U^\perp$や$V^\perp$は基底ベクトルを縦にならべたものとするなら転置しなくてはならないが， 
 +式が煩雑になるので基底ベクトルを横に並べたものと思って下さい． 
 +)) 
 +，
 $$ $$
 \left( \begin{array}{c} U^T \\ U^\perp \end{array} \right)\boldsymbol{b} \left( \begin{array}{c} U^T \\ U^\perp \end{array} \right)\boldsymbol{b}
行 128: 行 158:
   * $\boldsymbol{x}$の一部$\boldsymbol{x}'$（$r$次元）が$\boldsymbol{b}$の一部$\boldsymbol{b}'$（同じく$r$次元）にしか影響を与えない   * $\boldsymbol{x}$の一部$\boldsymbol{x}'$（$r$次元）が$\boldsymbol{b}$の一部$\boldsymbol{b}'$（同じく$r$次元）にしか影響を与えない
      * $\boldsymbol{x}^\perp$をいくら変更しても$\boldsymbol{b}$は変わらない      * $\boldsymbol{x}^\perp$をいくら変更しても$\boldsymbol{b}$は変わらない
-     * $\boldsymbol{x}$をどう変更しても$\boldsymbol{b}^\perp$は$0$意外は満たせない．+     * $\boldsymbol{x}$をどう変更しても$\boldsymbol{b}^\perp$は$\boldsymbol{0}$以外は満たせない．
   * 互いに影響を与える部分（$r$次元の部分）に関しては，軸方向に特異値$\sigma_i$倍に伸縮した関係になっている   * 互いに影響を与える部分（$r$次元の部分）に関しては，軸方向に特異値$\sigma_i$倍に伸縮した関係になっている
  
  • articles/svd.1626485574.txt.gz
  • 最終更新: 2021/07/17 10:32
  • by Takashi Suehiro