信号解析　第５回講義録

日時：２００６年５月８日

講義内容：統計モデルの評価法

担当者：情報知能工学科　小島史男

1. はじめに

　先週は統計処理の基本となる乱数の生成法から確率分布とその統計モデルについて学習しました。ところで、不規則信号を取得したとしても、その真の分布は実際にはわかりません。データがあたえられたとき、どの統計モデルを採用すればよいのでしょうか。今週の講義では与えられたデータから真の統計モデルを推定する評価法について学習していきます。

2. カルバックの情報量とエントロピー最大化原理

　それでは、まず真のモデルを、なんらかの方法で近似した統計モデルをとしましょう。この真のモデルと統計モデルとの近さを測る評価法として以下のカルバック・ライブラーの情報量(Kullback-Leibler information)があります。

参考図書の記法に従ってこれを以降KL情報量と呼ぶことにします。すこし天下り的ですが、を利用すると

となるので、結局KL情報量は

となり、また、のときに最小値０を持つことになります。したがって、この情報量が小さいほど近似度が良いと判定できることになるのです。またKL情報量にマイナス符号を付けた評価を一般化されたエントロピー(entropy)と呼びます。この場合、もっとも良い近似とはエントロピーを最大化することになります。以上、この評価のもとで、最適な近似モデルを構成することをエントロピー最大化原理(entropy mazimaization principle)と呼びます。実際に取得された有限長の信号から近似モデルを求める方法については次節以降で説明することにして、まずこのエントロピーの計算をしてみましょう。真のモデルは、平均値分散のガウス型確率密度関数

に従うと仮定し、近似モデルが、同じガウス分布だが異なる統計量、つまり平均値分散をもつ、つまり

で構成すると考え、このときのKL情報量を計算してみましょう。まず

ですので、被積分項の対数を計算すると

となります。項別に積分を実行すると最初の２項は、

となり、また３番目の項は

と変形して、それぞれの積分を計算すると

となるので、結局KL情報量は

ということになります。もちろん、以上のことは形式的な式変形ですので、平均値、分散量等具体的に数値をいれて、いろいろ確かめてみましょう。

3. 時系列信号による推定KL情報量の計算

　前節でのKL情報量は真の分布が未知であるので、現実には計算できないことになります。そこで真の分布の代替えとして、時系列信号から統計モデルのKL情報量を推定する方法について説明していきます。KL情報量は

と分解できます。この第１項は近似モデルに関して不変ですから、無視することができます。すなわち右辺の第２項をに関して最大にすれば最良の近似になるはずです。この第２項

のことを平均対数尤度(expected log-likelihood)と呼びます。もちろんこれでも真の分布はわかりませんので、計算はできません。ところで第２回目の講義で説明した標本自己共分散関数の推定計算のように、時系列信号によって推定することは可能です。いまこの時系列信号が統計的に独立であるならば、

が成立することが大数の法則によって保証されています。一般の時系列信号は相互に関連性をもっていますので、この収束性の保証はありませんが、以上の議論の拡張として、時系列信号による統計モデルの計算量

を対数尤度(log-likelihood)、またその指数、すなわち

を尤度(likelihood)と呼び、統計モデルの評価指標に用いられています。上式においては、上部は信号が独立に観測された場合を、また下部はN個のデータが時系列的に得られた場合についての式を意味しています。

本日の宿題：カルバックの情報量を計算し、モデルの近似度を具体的にもとめてみましょう。カルバックの情報量の計算は無限区間の積分計算が必要ですが、ガウス分布の密度関数は正負無限大で指数的に減少していきますので、有限区間の数値積分でも十分な精度を得ることができます。真のモデルと統計モデルが与えられたときのKL情報量を台形公式によって計算することにします（参考図書49頁参照）。

ただし、積分区間、積分点、被積分関数をそれぞれ

のように与えます。真の分布をガウス型、統計モデルをコーシー分布としたときの比較をEXCELを用いて示した例題5-1にあげておきますので、ピアソン分布の場合についてレポートをまとめてみてください。

注意：第４回のピアソン族の確率密度関数の表記にミスがありました。分母のは必要ありません。正しくは

です。ご指摘いただいた受講生のかたありがとう。また講義中に示しました真のモデルと統計モデルの両方ともガウス分布で、平均値と分散のみ異なる場合のKL情報量の変化を２次元空間上に表記してみました。例題5-2としてアップしておきますので、確認してみてください。この例題では真の分布は標準正規分布とし、モデルの平均値分散を変えています。平均値０分散１のところでKL情報量が０となっているか確かめてみてください。