穆爾-彭羅斯廣義逆

穆爾-彭羅斯廣義逆(英語:Moore–Penrose pseudoinverse),通常標記為,是著名的廣義逆矩陣之一。

1903年,埃里克·伊瓦爾·弗雷德霍姆提出積分算子的偽逆的概念。穆爾-彭羅斯廣義逆先後被E·H·穆爾(1920年)[1]阿爾內·比耶哈馬爾英語Arne Bjerhammar(1951年) [2]羅傑·潘洛斯(1955年)[3]發現或描述。

它常被用於求得或簡化非一致線性方程組的最小範數最小二乘解(最小二乘法)。

矩陣的穆爾-彭羅斯廣義逆在實數域和複數域上都是唯一的,並且可以通過奇異值分解求得。

定義

編輯

定義一

編輯

PS表示到向量空間S上的正交投影。對於任意一個m乘n的復矩陣A,設R(A)表示A的值域空間。穆爾於1935年證明矩陣A的廣義逆矩陣G必須滿足的條件:

 

以上兩個條件稱為穆爾條件。滿足穆爾條件的矩陣G稱為矩陣A的穆爾逆矩陣。


定義二

編輯

彭羅斯於1955年提出了定義廣義逆矩陣的另外一組條件[3]

  1.   不一定是單位矩陣,但卻不會改變 的列向量。
  2.   是乘法半群弱逆
  3.   埃爾米特矩陣
  4.   也是埃爾米特矩陣

以上四個條件常稱穆爾-彭羅斯條件。滿足全部四個條件的矩陣G,就稱為A的穆爾-彭羅斯廣義逆矩陣。

性質

編輯

從穆爾-彭羅斯條件出發,彭羅斯推導出了穆爾-彭羅斯廣義逆的一些性質[3]

  •  
  •  
  •  
  •     都是冪等矩陣。

存在性和唯一性

編輯

偽逆存在且唯一:對於任何矩陣 ,恰好有一個矩陣 滿足定義的四個性質。[4]

滿足該定義的第一個條件的矩陣被稱為廣義逆。如果該矩陣也滿足第二個定義,它就被稱為廣義反身逆陣(generalized reflexive inverse)。廣義逆矩陣總存在,但一般不唯一。唯一性是最後兩個條件的結果。

基本性質

編輯

這些性質的證明可以在維基教科書中找到。

  • 如果   有實數項,那麼  也有。
  • 如果   是可逆的,它的偽逆就是它的逆矩陣,即:  .[5]:243
  • 零矩陣的偽逆是它的轉置。
  • 矩陣偽逆的偽逆是原矩陣,即:  .[5]:245
  • 偽轉置與轉置、復共軛和共軛轉置可以交換:[5]:245
     ,  ,  .
  • 矩陣   的標量乘法的偽逆是   的標量的倒數的乘法:
      對於  .

恆等式

編輯

下面的恆等式可以用來判定部分涉及偽逆的子表達式的正確性: 同樣的,將   替換為   會得到: 當用   替代   時,會得到: 

埃爾米特情況

編輯

偽逆的計算可以簡化為其在埃爾米特情況下的構造,這可以通過等價關係實現:  其中   是埃爾米特矩陣。

乘積

編輯

 ,下列等式等價:[6]

  1.  
  2.  
  3.  
  4.  
  5.  

下方列出了  的充分條件:

  1.   的列單位正交(此時 ),或
  2.   的行單位正交 (此時  ) ,或
  3.   的列線性無關(此時   ) 同時   的行線性無關(此時  ),或
  4.  ,或
  5.  

下方列出了  的必要條件:

  1.  

由最後一個充分條件得出等式: 注意: 等式   一般不成立,例如: 

投影

編輯

   是正交投影算子,即它們是埃爾米特矩陣(  )和冪等矩陣(  )。以下性質成立:

  •   
  •   是正交投影算子,投影到   的值域(也就是  的正交補空間)。
  •   是正交投影算子,投影到   的值域(也就是   的核的正交補空間)。
  •   是正交投影算子,投影到   的核。
  •   是正交投影算子,投影到   的核。[4]

最後兩條性質隱含了下列等式:

  •  
  •  

如果   是埃爾米特矩陣和冪等矩陣(當且僅當它為正交投影矩陣),則對於任意矩陣   ,下式成立:[7] 這一條性質可以如此證明:定義矩陣  ,  ,當   是埃爾米特矩陣和冪等矩陣時,通過驗證偽逆的性質可以檢查   確實是   的一個偽逆。從上一條性質可以看出,當   是埃爾米特矩陣和冪等矩陣時,對於任意矩陣  

 

  是一個正交投影矩陣,則它的偽逆就是它自身,即  


幾何結構

編輯

如果我們把矩陣看作是一個在數域   上的線性映射  , 那麼   可以被分解如下。首先定義符號:   表示直和,   表示正交補,  表示映射的核,   表示映射的像。注意   。 限制條件   則是一個同構。這意味着    上時這個同構的逆,在   上則是零。

換而言之,對於給定的   要找到  ,首先將   正交投影在   的值域中,找到點  ,然後構建  ,即就是在   中,會被   投影到   的點。這是   的一個平行於   的核的仿射子空間。這個子空間中長度最小的元素(也就是最靠近原點的元素),就是我們尋找的   的解。它可以通過從   中選擇任意元素,並將其投影在   的核的正交補空間而得到。

以上描述與線性系統的最小範數解密切相關。


子空間

編輯

 

極限

編輯

偽逆可以由極限定義: (參見吉洪諾夫正則化)。當   不存在時,這些極限仍然存在。[4]:263

連續性

編輯

與一般的矩陣求逆不同,求偽逆的過程並不連續:如果序列   收斂到矩陣   (在最大範數或弗羅貝尼烏斯範數意義下),則   不一定收斂於  . 然而,如果所有的矩陣    有相同的秩,則   將收斂於  .[8]

導數關係

編輯

實值偽逆矩陣的導數,該矩陣在某點 處具有恆定的秩 可以用原矩陣的導數來計算:[9] 

例子

編輯

對於可逆矩陣,其廣義逆為其一般的逆矩陣,所以以下僅舉一些不可逆矩陣的例子。

  • 對於 ,其廣義逆矩陣為 (通常零矩陣的廣義逆矩陣為其轉置)。該廣義逆矩陣的唯一性可以認為時由性質 得出的,因為與零矩陣相乘總會得到零矩陣。
  • 對於 ,其廣義逆矩陣為  
    • 事實上, ,所以  
    • 類似的,  ,由此  
  • 對於 ,其廣義逆矩陣為 
  • 對於 ,其廣義逆矩陣為 
  • 對於 ,其廣義逆矩陣為 
  • 對於 ,其廣義逆矩陣為   。對於該矩陣,其左逆存在且等於 ,事實上, 

參考

編輯

書籍

編輯
  • 張賢達. 矩阵分析与应用. 北京: 清華大學出版社. 2004年9月: 85–99. ISBN 7-302-09271-0 (中文). 

文獻

編輯
  1. ^ Moore, E. H. On the reciprocal of the general algebraic matrix. Bulletin of the American Mathematical Society. 1920, 26 (9): 394–395 [2012-12-01]. doi:10.1090/S0002-9904-1920-03322-7. (原始內容存檔於2020-08-13). 
  2. ^ Bjerhammar, Arne. Application of calculus of matrices to method of least squares; with special references to geodetic calculations. Trans. Roy. Inst. Tech. Stockholm. 1951, 49. 
  3. ^ 3.0 3.1 3.2 Penrose, Roger. A generalized inverse for matrices. Proceedings of the Cambridge Philosophical Society. 1955, 51: 406–413. doi:10.1017/S0305004100030401. 
  4. ^ 4.0 4.1 4.2 Golub, Gene H.; Charles F. Van Loan. Matrix computations  3rd. Baltimore: Johns Hopkins. 1996: 257–258. ISBN 978-0-8018-5414-9. 
  5. ^ 5.0 5.1 5.2 Stoer, Josef; Bulirsch, Roland. Introduction to Numerical Analysis 3rd. Berlin, New York: Springer-Verlag. 2002. ISBN 978-0-387-95452-3. .
  6. ^ Greville, T. N. E. Note on the Generalized Inverse of a Matrix Product. SIAM Review. 1966-10-01, 8 (4): 518–521 [2022-05-10]. ISSN 0036-1445. doi:10.1137/1008107. (原始內容存檔於2022-06-17). 
  7. ^ Maciejewski, Anthony A.; Klein, Charles A. Obstacle Avoidance for Kinematically Redundant Manipulators in Dynamically Varying Environments. International Journal of Robotics Research. 1985, 4 (3): 109–117. S2CID 17660144. doi:10.1177/027836498500400308. hdl:10217/536 . 
  8. ^ Rakočević, Vladimir. On continuity of the Moore–Penrose and Drazin inverses (PDF). Matematički Vesnik. 1997, 49: 163–72 [2022-05-10]. (原始內容 (PDF)存檔於2022-04-03). 
  9. ^ Golub, G. H.; Pereyra, V. The Differentiation of Pseudo-Inverses and Nonlinear Least Squares Problems Whose Variables Separate. SIAM Journal on Numerical Analysis. April 1973, 10 (2): 413–32. Bibcode:1973SJNA...10..413G. JSTOR 2156365. doi:10.1137/0710036.