状態空間モデルシリーズでは複数の記事に分けて、時系列データを扱う柔軟なモデルである状態空間モデル(State Space Model) を解説します。 第1回では、時系列データに対するモデリングの一つとして構造的時系列モデル（季節調整モデル）を扱いました。 第2回である本記事では、季節調整モデルを発展させて、状態空間モデルの定式化を行います。具体的には、状態空間モデルの核となる「状態ベクトル」の設計思想を解説し、複雑な時系列の依存関係を確率モデルとして計算可能な形で表現する方法を示します。 予測にいかす統計モデリングの基本　改訂第２版　ベイズ統計入門から応用まで (ＫＳ理工学専門書) 状態ベクトル ここでは、第1回で扱った構造的時系列モデルを基に、時系列モデルに状態ベクトルを導入する。 なぜ状態ベクトルが必要か？ 状態ベクトル表現を導入することで、複数の成分を統一的に扱うことができ、確率モデルに基づいた確率的推論が可能になる。具体的には以下の3つの理由により状態ベクトルを導入する。 統一的な表記 トレンド成分 $\mu_t, \mu_{t-1}$、季節成分 $s_t, s_{t-1}, \cdots, s_{t-6}$ など、複数の変数を一つのベクトル $x_t$ にまとめる これにより、複雑な依存関係を簡潔な行列演算で表現できる 確率推論の基盤 確率モデルとして簡潔に表現できるため、後述する同時分布の分解やマルコフ性を利用することで、フィルタ分布、予測分布、平滑化分布を計算することが可能になる そしてこれらが統一的なアルゴリズムで扱えるようになる 実装の効率性 行列演算としてアルゴリズムが表現できるため、計算が容易（カルマンフィルタ） ベイズ推論の枠組みに自然に組み込むことができるようになる。 トレンドモデル まず簡単のために、トレンド成分だけを扱うトレンドモデルの状態ベクトル表現を解説する。 トレンドモデルは以下の式で定義される（参考文献、および、前回記事参照） $$ \begin{aligned} y_t &= \mu_t + w_t \\ \mu_t &= 2\mu_{t-1} - \mu_{t-2} + v_t \end{aligned} $$ここで、 $w_t, v_t$ はガウス分布に従うノイズ（正規ホワイトノイズ）とする。 二つ目のトレンド成分を示す式について、状態ベクトル $x_t$ を以下の通り定義する。 $$ x_t = \begin{bmatrix} \mu_t \\ \mu_{t-1} \end{bmatrix} $$$x_t$ を導入すると、トレンド成分は以下のように表現できる。 ...

状態空間モデルシリーズでは複数の記事に分けて、時系列データを扱う柔軟なモデルである状態空間モデル(State Space Model) を解説します。 第1回である本記事では、時系列データに対して想定する”パターン”を数学的に表現する手法を解説します。このパターンには、トレンド（上昇傾向か？下降傾向か？）、季節成分（周期的な変動要因）、ノイズ成分などがあります。これらのパターンを組み込んだ数式表現について整理します。 本記事を通じて、時系列モデルの“骨格”となる数式の全体像をつかみ、次回以降の確率モデルへの橋渡しを行います。 予測にいかす統計モデリングの基本　改訂第２版　ベイズ統計入門から応用まで (ＫＳ理工学専門書) 時系列データ 時系列データとは、時間の推移とともに観測されるデータのことであり、観測される順序に意味がある。例えば、日々の株価、月次の売上高、毎時の気温などが時系列データの典型例である。観測される順序に意味があるということが重要で、独立同分布を仮定するデータと大きく異なるポイントである。 表記法 時刻 $1$ から $T$ までに観測されたデータを以下のように表記する。 $$ y_{1:T} \equiv \left[ y_1, y_2, \cdots , y_T \right] $$$y$のインデックスが観測順を表している。時系列データの場合は順序に意味があるため、 $y_{1:T}$は上記の順で扱わなければいけない。 時系列データの特徴 時系列データには下記のような特徴が表れる。これらの特徴を適切にモデル化することが時系列分析の課題となる。 自己相関: 近い時点の値は似た値を取ることが多い 参考：時系列解析における共分散（自己相関）と（弱）定常性(weak stationary) トレンド: 長期的な増加・減少傾向 季節性(周期性): 一定周期で繰り返されるパターン ノイズ: ランダムな変動 補足 独立同分布を仮定するデータでは、データを入れ替えることができたが、時系列データの場合にはそれができないため、モデル化やパラメータ学習の際には時系列データを扱う手法利用する必要がある。 時系列データといった場合、通常数値データを扱う。一方、文章のように単語の順序が重要なデータもある。このように順序に意味のあるデータを一般に「系列データ」と呼ぶ。本シリーズでは、数値データとしての「時系列データ」のみを扱う。 統計的時系列モデルと構造的モデル 統計的時系列モデル 時系列データを解析する代表的なモデルとして、時系列データ自身の過去の値のみを利用してモデリングするAR(Auto Regressive)モデルやARMA(Auto Regressive - Moving Average)モデルがある。 $$ \begin{aligned} \mathrm{AR}(p): \quad &y_t = c + \phi_1 y_{t-1} + \cdots + \phi_{p} y_{t-p} + \epsilon_t \\ \mathrm{ARMA}(p, q): \quad &y_t = c + \phi_1 y_{t-1} + \cdots + \phi_{p} y_{t-p} + \epsilon_t + \theta_1 \epsilon_{t-1} + \cdots + \theta_q \epsilon_{t-q} \end{aligned} $$ここで、$c$ は定数項、$\phi_i$ は自己回帰係数、$\theta_j$ は移動平均係数、$\epsilon_t$ はホワイトノイズである。 ...

自己共分散関数（Autocovariance Function）は時間差$k$（時間差をラグとも呼ぶ）のデータ間の相関の強さを表す自己共分散を時間差 $k$ の関数としたものです。これは、定常な時系列データの時間依存性を特徴づけるため、時系列解析において基礎的で中心的な役割を持っています。 本稿では、自己共分散関数が持っている3つの重要な数学的性質について扱います。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 自己共分散関数の定義 自己共分散とは、同一時系列データにおける、時間的に隔てた点との共分散であり、下記の式で定義される $$ \gamma_{k,t} = \mathrm{Cov}\left( y_t, y_{t-k} \right) = E\left[ \left( y_t - \mu_t \right) \left( y_{t-k} - \mu_{t-k} \right) \right] $$ここで、 $k$は時間差(時刻 $t$ からの遅れ)を表し、$\mu_t = E[y_t]$ は時刻 $t$ における期待値である。 自己共分散を $k$ の関数とみたとき、 $\gamma_{k, t} = \gamma_t(k)$ を時刻 $t$ の自己共分散関数と呼ぶ。 ここで、　$y_t$ を弱定常過程とすると、 弱定常性により平均・分散・自己共分散が時間に依存しなくなる。特に、平均は時間不変で$\mu = E[y_t]$（定数）となり、自己共分散は下記の通り時間差$k$のみに依存する。 $$ \gamma(k) = \mathrm{Cov}\left( y_t, y_{t-k} \right) = E\left[ \left( y_t - \mu \right) \left( y_{t-k} - \mu \right) \right] $$なお、$k=0$とした場合の自己共分散 $\gamma(0)$ は、定義より過程の分散 $\mathrm{Var}(y_t)$ に等しい。 ...

統計的時系列解析において、エルゴード性は観測データから理論的性質を推論するための基礎的な概念です。 エルゴード性は、「一つの時系列データを解析することでなぜ一般的な結論を導くことができるのか？」という根本的な疑問に回答するための重要な概念なのです。しかし、基礎的な概念であるがゆえに、暗黙的にエルゴード性が成り立つことを前提として議論が進められることが多いです。 本記事では、エルゴード性の定義、概念的な解釈、理論的意義、確認方法について解説します。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) エルゴード性の概念 エルゴード性の基本的な考え方 エルゴード性とは、確率過程において「**時間平均とアンサンブル平均**が一致する」性質である。この性質により、単一の長い時系列データから、確率過程全体の統計的性質を推定することが可能となる。 参考までに、 データを読み解くリテラシー@NAIST EDGE では以下のように解釈が書かれている。 少し乱暴な言い方になるが，エルゴード性とは「個々の情報源に個性がないこと」と理解するのが早いように思われる． 上記の参考ページを確認すると、具体例を交えて解説があるので、一読することをお勧めする。 エルゴード性の定義 任意の可測関数 $f$ に対して下記が成立する場合に、エルゴード性が成り立つという。 $$ \lim_{T \rightarrow \infty} \frac{1}{T} \sum_{t=1}^T f(x_t) = E[f(x_t)] $$$f$ は恒等写像であったり、共分散が使われる。恒等写像の場合には特に「平均エルゴード性」、共分散の場合には「共分散エルゴード性」とも呼ばれる。 時間平均とアンサンブル平均の定義 アンサンブル平均 定義: 同一時刻における複数の実現値の平均 確率過程 $\{X_t\}$ について、時刻 $t$ でのアンサンブル平均は以下で定義される： $$ E[X_t] = \int x \cdot f_t(x) dx $$ここで、$f_t(x)$ は時刻 $t$ における確率変数 $X_t$ の確率密度関数を表す。この関数は時刻 $t$ に依存し得るため、一般的に非定常過程では各時刻で異なる分布を持つ。 N個の実現系列（標本）がある場合は以下のように標本平均で近似する $$ E[X_t] = \frac{1}{N} \sum_{i-1}^{N} x_t^{(i)} $$視覚的理解： 時刻1 時刻2 時刻3 ... 時刻k 系列1: X_1^(1) X_2^(1) X_3^(1) ... X_k^(1) 系列2: X_1^(2) X_2^(2) X_3^(2) ... X_k^(2) 系列3: X_1^(3) X_2^(3) X_3^(3) ... X_k^(3) ⋮ ⋮ ⋮ ⋮ ⋮ 系列N: X_1^(N) X_2^(N) X_3^(N) ... X_k^(N) ↓ ↓ ↓ ↓ E[X_1] E[X_2] E[X_3] ... E[X_k] (縦方向の平均 = アンサンブル平均) 時間平均 定義: 一つの実現における時間方向の平均 ...

統計的時系列解析では、観測されたデータから背後にある確率的な構造を理解し、将来の予測や統計的推論を行うことが主要な目的です。この目的を達成するために、時系列データの統計的性質として、確率過程、自己共分散構造、定常性の概念が基礎的かつ重要な役割を果たしています。 本記事では、なぜ自己共分散と定常性が統計的時系列モデルにとって不可欠なのか、そしてこれらの概念がどのようにモデル構築と推論の基盤となるのかをまとめます。 参考文献はこちら↓ 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) https://amzn.to/406fmb6 統計的時系列モデリングの基本的な枠組み まず初めに、統計的時系列モデリングにおいて最も基礎的で重要な3つの概念について説明する。 確率過程としての時系列 統計的時系列解析の根本的な考え方は、観測された時系列データ $Y = \{y_1, y_2, ..., y_T \}$ を、ある確率変数列 $\{ y_t \}^{\infty}_{t=-\infty}$ からの一つの実現値（サンプルパス）として捉えることである。このような確率変数列 $\{ y_t \}^{\infty}_{t=-\infty}$ を**確率過程(stophastic process)**と呼ぶ。 時系列分析においては確率過程の構造を時系列モデルと呼ぶ。代表的な時系列モデルとして、ARモデルやARIMAモデルなどがある。 この枠組みにより統計的性質を用いて下記を得ることができる。 不確実性の定量化: 単一の観測系列から母集団の性質を推論 予測の理論的基盤: 将来値の確率分布と予測区間の導出 統計的推論: 仮説検定とモデル選択の理論的根拠 統計的モデリングにおける定常性の役割 統計的時系列モデルが有効に機能するためには、データの背後にある確率的構造が安定している必要がある。この安定性を数学的に表現したものが**定常性(stationarity)**という概念である。定常性は以下の理由で統計的モデリングの基盤となる。 一意のパラメータ構造(モデル): 時間によって変化しない一意のパラメータ構造が存在 推定理論の適用: 大数の法則と中心極限定理に基づく推定量の統計的性質 予測の一貫性: 過去のパターンが将来にも適用可能 自己共分散構造の重要性 時系列データの本質的特徴は、時間を通じた観測値間の依存関係である。この依存関係を定量化するのが自己共分散構造であり、統計的モデルの設計において以下の重要な役割を果たす。 モデルの特定: データの依存構造からモデル形式（次数など）を決定 パラメータ推定: 最尤法の基礎となる情報 予測: 将来値の予測における不確実性の源泉 弱定常性の定義と統計的意味 次に、（弱）定常性の定義とその統計的な意味について解説する。 弱定常性の数学的定義 弱定常とは、確率過程 $\{Y_t\}$ が以下の3つの条件を満たすことで定義される。 平均の時間不変性: $E[Y_t] = \mu$ （定数） 分散の時間不変性: $\mathrm{Var}(Y_t) = \sigma^2$ （定数） 自己共分散の時間差依存性: $\mathrm{Cov}(Y_t, Y_{t-k}) = \gamma_k$ 特に第3の条件が本質的であり、自己共分散が絶対的な時刻 $t$ ではなく、時間差 $k$ のみに依存することを意味する。 ...

我々統計の森は、11/2から開催する技術書典17に今回も参加します！ 技術書典17の開催に合わせて、統計の森が公開しているUdemyのコースの割引クーポンを発行しました。 合わせてご検討ください！ 技術書典とは 技術書のみを扱った、いわゆる同人誌の即売会です。展示ホールが人でいっぱいになるほど盛況なイベントで、テキストだけでなく、ITに関わるグッズなどを出しているブースもあります。 統計の森では、コロナの間は休んでいましたが、技術書典14から連続参加しています。 以下の公式ページを確認してください。 https://techbookfest.org/event/tbf17 技術書典17開催概要 詳しくは公式ページを参照してください。オンラインとオフラインで開催されます。 オンラインマーケットについては下記の通りです 会期：2024/011/02 (土) ~2024/11/17 (日) 会場：技術書典オンラインマーケット オフラインでは以下の日程で開催されます 会期：2024/11/03 (日) 11:00～17:00 会場：池袋・サンシャインシティ 展示ホールD（文化会館ビル2F） 参加：入場無料 11/3の池袋でのイベント参加について、参加費は無料となっていますが事前に無料の入場チケットを入手する必要がありますので、参加前に公式ページを確認してください。 Udemyコース割引クーポン 統計の森では現在下記2つのコースを公開しています。バナーをクリックしてもらえれば、割引クーポンが適用されて購入できます！ 【AI最前線】高校数学＋αで直感的に理解するTransformerの仕組み クーポンコード: F7174966EB91C2E6B376 統計の森で発行した書籍の中で最もご好評いただいている書籍「直感的に理解するTransformerの仕組み」を基にしたコースです。 数年前に発表され、そこから現在のChatGPTをはじめとした生成AIの大躍進につながっている「Transformer」の仕組みを解説したコースです。Transformerについては、生成AIの仕組みをざっくりとでも理解しようと思ったら、今でも必須といえる基礎知識です。ぜひご検討ください。 以下、コース説明から抜粋 最新AIの仕組みを理解する！ 最近のAI（人工知能）分野では、ChatGPTやLlamaなど大規模言語モデル（LLM）を用いた生成AIが大きな注目を集めています。毎日のように最新技術の発表があるほど目覚ましい進化が起こっています。 しかしながら、これら大規模言語モデルの要素技術には、そのコアのモジュールとして Transformer というモジュールが用いられています。Transformer がコアモジュールとして用いられている状況は、直近5年ほどは変わっていません。つまりこの Transformer の仕組みがそれほど汎用的で表現力が高い優秀なモジュールであるということを示しています。 この Transformer の仕組みを理解することで、最新AIの仕組みを理解できるようになります。 Pythonで実践する統計モデリング入門 クーポンコード：74CCCA090A3885FE9D6D すでに物理版のテキストは作っていませんが、「Python実装を通して学ぶ、統計モデリング入門」を基にしたコースです。技術書典でのオンラインマーケットでは電子版を取得できますので、合わせてご検討ください。 統計モデリングは、それ自体を明示的に利用するシーンは減ったと思います。しかし、統計や機械学習を理解するうえでは、この考え方は今でも必須です。特に最尤法は今の生成AIでも使われている重要技術です。ぜひご検討ください。 以下、コース説明から抜粋 機械学習モデルのブラックボックス的な理解から脱却しましょう！ 機械学習や統計解析の理論的な背景には「統計モデル」や「確率モデル」と呼ばれる「モデル」という考え方があります。この「モデル」を通した見方を習得することで、様々な手法を俯瞰して眺めることができます。 例えば以下のことが理解できるようになります。 分類問題などを扱うニューラルネットワーク（ディープラーニング含む）の「損失関数(loss-function)」になぜクロスエントロピーがよく使われているのか？ 最尤推定とベイズ推定の違い 正則化（Weight-Decay）の意味 まとめ 技術書典17の開催に合わせてUdemyコースの割引クーポンを発行しました。 技術書典に参加される方は、テキストと合わせてこれらのコースを確認していただくことで、深く理解が進むはずなので、是非是非検討してください。 技術書典に参加されない方でも、これらのコースが気になった方はぜひサンプルだけでも視聴してもらえたらと思います！ \[www.hello-statisticians.com: https://www.hello-statisticians.com/summary-video-contents\](https://www.hello-statisticians.com/summary-video-contents)

当記事は「統計学のための数学入門$30$講(朝倉書店)」の読解サポートにあたってChapter.$21$の「射影と射影行列」の章末問題の解答の作成を行いました。 基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。 ・書籍解答まとめ https://www.hello-statisticians.com/answer_textbook_math#math_stat 統計学のための数学入門30講 (科学のことばとしての数学) 本章のまとめ ベクトルと部分空間 $k$個の$1$次独立な$p$次元ベクトル$\mathbf{a}_{1}, \cdots , \mathbf{a}_{k}$が張る部分空間$M$を下記のように定義する。 $$ \large \begin{align} M = \{ \mathbf{y} : \mathbf{y} = c_1 \mathbf{a}_{1} + \cdots c_k \mathbf{a}_{k} \} \end{align} $$上記の$M$は下記のように$\mathrm{span}$を用いて表されることもあるので合わせて抑えておくと良い1。 $$ \large \begin{align} \mathrm{span} \{ \mathbf{a}_{1}, \cdots , \mathbf{a}_{k} \} = \left\{ \sum_{i=1}^{k} c_{i} \mathbf{a}_{i} : c_{i} \in \mathbb{R} \right\} \end{align} $$射影の計算 射影行列 $p$次元ベクトル空間$\mathbb{R}^{p}$の部分空間を$M$、直交補空間を$M^{\perp}$とおくと、任意の$p$次元ベクトル$\mathbf{x} \in \mathbb{R}^{p}$は下記のように一意に表すことができる。 $$ \large \begin{align} \mathbf{x} &= \mathbf{x}_{1} + \mathbf{x}_{2} \\ \mathbf{x}_{1} & \in M, \, \mathbf{x}_{2} \in M^{\perp} \end{align} $$このとき、$\mathbf{x}_{1}$は$\mathbf{x}$の$M$への射影、$\mathbf{x}_{2}$は$\mathbf{x}$の$M^{\perp}$への射影であるという。ここで$\mathbf{x}$を$\mathbf{x}_{1}$に対応させる行列を射影行列$P_{M}$とおくと、下記のような式が成立する。 ...

2024/5/26(日曜)に池袋サンシャインシティで開催される技術書典16にブース出展します！統計の森の中の人が執筆したテキストに興味のある方、是非足を運んでみてください！ 当日は、ブースが混みあっていなければ我々に直接質問などもできます（混んでいるときはごめんなさい）。 技術書典とは 技術書のみを扱った、いわゆる同人誌の即売会です。展示ホールが人でいっぱいになるほど盛況なイベントで、テキストだけでなく、ITに関わるグッズなどを出しているブースもあります。 統計の森では、コロナの間は休んでいましたが、技術書典14から連続参加しています。 技術書典16開催概要 是非公式ページを確認してください。 https://techbookfest.org/event/tbf16 会期：2024/05/26 (日) 11:00～17:00 会場：池袋・サンシャインシティ 展示ホールD（文化会館ビル2F） 参加：入場無料 技術書典16公式ページより 参加費は無料となっていますが、事前に無料の入場チケットをオンラインで入手する必要があります。公式ページに案内があるので確認してください。 また、並行してオンラインマーケットも開催されます。 会期：2024/05/25 (土) 〜2024/06/09（日） 会場：https://techbookfest.org/event/tbf16/market 統計の森は、オンラインマーケットにも出展していますので、会場に来れない方で我々のテキストが気になる方はこちらも確認してください。 https://techbookfest.org/organization/9Ed49xyipE3sKiZxm9HVG2 統計の森のテキスト 統計の森では、3冊のテキストを出展します。 直感的に理解するTransformerの仕組み 仕組みから理解するChatGPT 【新刊】直感的に理解するTransformerへのCNNの導入 「Transformerの仕組み」を基礎として、近年話題の言語モデルへの応用と画像への応用をそれぞれ扱った内容となります。3冊そろえていただくことで、LLMやViTの基礎的な仕組みをしっかりと理解できる構成になっているのではないかと考えています。 ぜひぜひご検討いただけたらと思います。 直感的に理解するTransformerの仕組み 昨今 ChatGPT をはじめ、 LLM が大きな注目を集めており進化が目覚まし いように見えますが、要素技術に着目すると、コア部分の処理に用いられる モジュールは Transformer です。 当テキストでは、昨今大きな注目を集める ChatGPT や GPT4 の主要モジュールに用いられるTransformerの直感的な理解が可能になるように取りまとめを行いました。 仕組みから理解するChatGPT OpenAIによってChatGPTが公開されて以降、対話AIが大きく注目を集めるようになりました。ChatGPT の仕組みについては同じくOpenAIによる研究であるInstructGPTの論文と同様とされています。 ChatGPTについては、「使い方」や「概要」の把握を主目的とする解説コンテンツが多く、仕組みの解説が行われているケースは少ないです。そこで本書では前作の「直感的に理解する Transformer の仕組み」の内容に加えて ChatGPT(InstructGPT 論文) の仕組みの理解ができるように取りまとめを行いました。 直感的に理解するTransformerへのCNNの導入 2020年に発表されたViT(Vision Transformer)はそれまで畳み込みニ ューラルネットワーク(CNN; Convolutional Neural Network)が支配的であったComputer Vision分野におけるDeepLearningに新たなトレンドを もたらしました。 ...

$p$次元ベクトル$\mathbf{x} \in \mathbb{R}^{p}$を部分空間$M$に対応させる行列を射影行列(Projection Matrix)といいます。当記事では射影行列について成立する性質とその導出について取りまとめを行いました。 「統計学のための数学入門$30$講」の$21$章の「射影と射影行列」を参考に作成を行いました。 ・数学まとめ https://www.hello-statisticians.com/explain-terms 統計学のための数学入門30講 (科学のことばとしての数学) 射影行列の性質 $p$次元ベクトル空間$\mathbb{R}^{p}$の部分空間を$M$、直交補空間を$M^{\perp}$とおくと、任意の$p$次元ベクトル$\mathbf{x} \in \mathbb{R}^{p}$は下記のように一意に表すことができる。 $$ \large \begin{align} \mathbf{x} &= \mathbf{x}_{1} + \mathbf{x}_{2} \\ \mathbf{x}_{1} & \in M, \, \mathbf{x}_{2} \in M^{\perp} \end{align} $$このとき、$\mathbf{x}_{1}$は$\mathbf{x}$の$M$への射影、$\mathbf{x}_{2}$は$\mathbf{x}$の$M^{\perp}$への射影であるという。ここで$\mathbf{x}$を$\mathbf{x}_{1}$に対応させる行列を射影行列$P_{M}$とおくと、下記のような式が成立する。 $$ \large \begin{align} \mathbf{x}_{1} = P_{M} \mathbf{x} \in M \end{align} $$同様に$\mathbf{x}$を$\mathbf{x}_{2}$に対応させる射影行列を$P_{M^{\perp}}$とおくと、下記のような式が成立する。 $$ \large \begin{align} \mathbf{x}_{2} = P_{M^{\perp}} \mathbf{x} \in M^{\perp} \end{align} $$ここで部分空間$M$について$\mathrm{dim}{M}=k$を仮定するとき、直交補空間$M^{\perp}$について$\mathrm{dim}{M^{\perp}}=p \, - \, k$が成立する。このとき、$p \times k$行列$A$を$M$の基底${ \mathbf{a}_{1}, \cdots , \mathbf{a}_{k} }$、$p \times (p \, - \, k)$行列$B$を$M^{\perp}$の基底${ \mathbf{b}_{1}, \cdots , \mathbf{b}_{p \, - \, k} }$を用いてそれぞれ下記のように定義する。 ...