質問:
二次形式の期待値
Kyle
2013-01-19 06:51:44 UTC
view on stackexchange narkive permalink

Seber and Leeの線形回帰分析第2版の9ページに、私が理解していない2次形式の期待値の証明があります。

$ X =(X_i)$ span>は $ n \ times 1 $ span>ランダムベクトルであり、とします。 $ A $ span>は、 $ n \ times n $ span>対称行列です。 $ \ mathbb {E} [X] = \ mu $ span>および $ \ operatorname {Var} [X] = \の場合シグマ=(\ sigma_ {ij})$ span> then $ \ mathbb {E} [X ^ T AX] = \ operatorname {tr}(A \ Sigma)+ \ mu ^ TA \ mu $ span>

私が抱えている問題は、ゲートのすぐ外にあり、 $ \ mathbb {E}がどのようになっているのかわかりません。 [X ^ T AX] = \ operatorname {tr}(\ mathbb {E} [X ^ T AX])$ span>残りの証拠は得られると思いますが、ここにいる誰かが私を指摘できない場合この部分の正しい方向、私は永遠に感謝します!

心配する必要があるのは** $ \ mathbb {E} [X ^ {T} AX] = tr(\ mathbb {E} [X ^ {T} AX] $ではなく、$のトレースです。 A \ Sigma $ which _is_ a $ n \ times n $行列。完全な導出については私の答えを参照してください。$ \ text {tr}([3])$およびスカラー対行列に関するJonathanChristensenの発言はこの問題には適用されません。
@DilipSarwate,は、この証明の行列代数バージョンに明らかに慣れていません([Wikipedia](http://en.wikipedia.org/wiki/Quadratic_form_(statistics)#Derivation)の概要は非常に短いです)、これはカイルが求めていることです。ここについて。あなたは別の証拠を提示しますが、あなたの答えは元の質問にまったく対処していません。
@JonathanChristensen証明の行列代数バージョンには、$ E $や$ \ text {tr} $などの知識が必要です。これは可換線形演算子であり、学ぶのに悪い例です。行列$ B $(エントリとして確率変数を使用)の_expectation_は$ E [B] $で表され、単に期待値の_matrix_です。 _一般的に_、結果$ E [B] = \ text {tr}(E [B])$はfalseです。これは、左側が行列で、右側がスカラーまたは$ 1 \ times 1 $行列であるためです。また、$ B $が$ 1 \ times 1 $行列の場合、結果は正確に保持されます。この場合、右側のトレース操作は単位行列です。
@DilipSarwate証明の行列代数バージョンの教育学的メリットについてどのように考えても、それがカイルが尋ねた質問です。私はそれに答えました。あなたはそれを無視し、卑劣なコメントをしました。
三 答え:
Dilip Sarwate
2013-01-19 09:15:13 UTC
view on stackexchange narkive permalink

Jonathan Christensenが指摘しているように、$ X ^ TAX $は$ 1 \ times 1 $行列です。実際、これは(単変量)確率変数です$$ X ^ TAX = \ sum_ {i = 1} ^ n \ sum_ {j = 1} ^ n a_ {i、j} X_iX_j。$$では、その期待値は何ですか?明らかに、$$ \ begin {align *} E [X ^ TAX] & = E \ left [\ sum_ {i = 1} ^ n \ sum_ {j = 1} ^ n a_ {i、j} X_iX_j \ right ] \\ & = \ sum_ {i = 1} ^ n \ sum_ {j = 1} ^ n a_ {i、j} E [X_iX_j] & \ text {期待の線形性による} \\ & = \ sum_ {i = 1} ^ n \ sum_ {j = 1} ^ n a_ {i、j}(\ sigma_ {i、j} + \ mu_i \ mu_j)& \ text {共分散式を適用} \\ & = \ sum_ {i = 1} ^ n \ sum_ {j = 1} ^ n a_ {i、j} \ sigma_ {j、i} + \ sum_ {i = 1} ^ n \ sum_ {j = 1} ^ n a_ {i、 j} \ mu_i \ mu_j& \ text {since}〜\ Sigma〜 \ text {は対称行列です} \\ & = \ sum_ {i = 1} ^ n [A \ Sigma] _ {i、i} + \ mu ^ TA \ mu \\ & = \ text {tr}(A \ Sigma)+ \ mu ^ TA \ mu \ end {align *} $$

これは結果の優れた証拠ですが、カイルの実際の質問には対応していません。
この二重和への拡張は、トレーストリックが必要な理由と、$ \ mathbb {E} _ {x \ sim \ mathcal {N}(\ mu、\ Sigma)} \ left [(x- \mu)^ T \ Sigma ^ {-1}(x- \ mu)\ right] $はゼロだけではありません。ありがとうございました。
Jonathan Christensen
2013-01-19 07:30:32 UTC
view on stackexchange narkive permalink

$ X $は$ n \ times1 $ベクトルであるため、$ \ mathbb E [X ^ {T} AX] $は$ 1 \ times1 $行列です。トレースは対角エントリの合計ですが、$ \ mathbb E [X ^ TAX] $にはエントリが1つしかないため、そのトレースはその1つのエントリと単純に等しくなります。 $ 1 \ times1 $行列がスカラーと同等であると考えると、心配している等式は次のようになります。

基本的に、$ tr([3])$とは何ですか?これは明らかに3です。厳密に言えば$ [3] \ neq 3 $と主張するかもしれません。これは、一方が行列でもう一方が実数であるためですが、基本的には同等であり、少し緩い場合は表記法では、それらは等しいと言えます。

ハハ、くそー...二次形式がスカラーであることは知っていましたが、スカラーのトレースをとるのはとても奇妙に思えたので、何かが足りないと思いました。本当にありがとう。
この答えが何を意味するのかわかりません。計算されている_trace_は、スカラーではない_ $ A \ Sigma $のトレースです。
@DilipSarwate質問を注意深く読んでいませんでしたね?引用:「$ \ mathbb {E} [X ^ {T} AX] = tr(\ mathbb {E} [X ^ {T} AX])$の方法がわかりません。残りの部分は取得できると思います。証拠[...] "カイルが混乱した部分は、まさに私が取り上げた部分でした。
ジョナサンが言及したいと思うかもしれない最後の操作は、これらの行列のサイズが異なっていても、$ {\ rm tr} AB = {\ rm tr} BA $です。したがって、$ {\ rm tr} X'AX = {\ rm tr} AXX '$の時点で、定数$ A $を期待値記号から引き出すことができます。
@StasK:最初にトレースを取得するポイント全体を特定しました。ジョナサンの説明によると、これは完全で完全な答えです(質問へのコメントでいくつかの反対の主張にもかかわらず)。
majeed simaan
2018-01-13 23:43:08 UTC
view on stackexchange narkive permalink

その背後にある直感を得るために、$ X $が単変量確率変数である場合、次のようになることを思い出してください。 \ begin {equation} E [a ^ {2} X ^ {2}] = a ^ {2} Var(X)+ E [aX] ^ {2} \ end {equation}

一方、$ X $がランダムベクトルの場合、$ X ^ \ prime AX = X ^ {\ prime} C ^ {\ prime} CXとなるように、$ A = C ^ \ prime C $とします。$、ここで$ C $は$ A $の平方根を示します。これは、$ A $が正定値であると想定していますが、この想定は説明のために課されています。その結果 \ begin {equation} E [X ^ {\ prime} C ^ {\ prime} CX] = Var(CX)+ E [CX] ^ {\ prime} E [CX] \ end {equation} したがって \ begin {equation} E [X ^ {\ prime} AX] = C ^ {\ prime} Var(X)C + E [X] ^ {\ prime} AE [X] \ end {equation}

最後に、$ A = C ^ \ prime C $であるため、$ C ^ {\ prime} \ Sigma C $を$ tr(A \ Sigma)$として表すことができます。明らかに、一般的なプロパティは$ A $の平方根を知る必要はありません。ただし、このプロパティがどこから来ているかはわかります。



このQ&Aは英語から自動的に翻訳されました。オリジナルのコンテンツはstackexchangeで入手できます。これは、配布されているcc by-sa 3.0ライセンスに感謝します。
Loading...