## ロジスティック回帰とは ゼロイチを予測するための回帰分析。 $log\left(\frac{p(Y=1)}{1-p(Y=1)}\right) = \beta_0 + \beta_1x_1 + \beta_2x_2 + \cdots + \beta_nx_n$ ### ロジット変換とロジスティック変換 以下をオッズの式というらしい。 $ \frac{P}{1-P}$ これは事象がどのくらい起こるのかを表すらしい。本当か？まあそうか。Pが大きいほど大きくなるな。もしかして競馬のオッズとかってこれ？(追記：違うらしい) ロジットというのはオッズの対数を取ったもの。つまり$logit(P) = log\left(\frac{P}{1-P}\right)$ ということ。このロジット関数の逆関数が(標準)ロジスティック関数になる。代表的なものがシグモイド関数と言われている。$\sigma(x) = \frac{1}{1+\exp(-x)}$ え、でもロジットがこの定義だったら、ロジスティック関数って一意に決まるのでは？ ロジスティック関数は$f(x) = \frac{L}{1+\exp(-k(x-x_0))}$ らしい。シグモイド関数は多分値域が0から1のやつで、exp(-x)じゃなくてexp(-ax)らしい。-xの場合は標準シグモイド関数というらしい。 ## ロジスティック回帰分析における偏回帰係数の推定 最尤法を用いる。 $n$個のデータからなる$Y(Y_1, Y_2, \cdots, Y_n)$が互いに独立であり、$p(Y_i = 1) = P_i$であるとき、尤度Lは$L=\prod_{i=1}^{n} P_i^{Y_i}(1-P_i)^{1-Y_i}$ と計算できる。対数を取ると、$log(L) = \sum_{i=1}^n \{Y_i\log P_i+(1-Y_i)\log(1-P_i)\}$ $ P = \frac{1}{1 + e^{-y}} = \frac{1}{1+e^{-(\beta_0 + \beta_1x_1 + \beta_2x_2 + \cdots + \beta_nx_n)}}$ を代入して、対数尤度関数が最大になるように$\beta_0, \beta_1,\cdots, \beta_n$の値を計算する。 計算には、ニュートン=ラフソン法を使うらしい。