継続力

IT系サラリーマンが、書籍や講座から学んだこと、効果があった勉強方法を紹介します。

【Coursera】「Machine Learning(機械学習) Week 3」〜分類の具体的なアルゴリズムを学びたい〜

前回(Machine Learning(機械学習) Week 2)は、教師あり学習の回帰分析アルゴリズムを学びました。
今回は、教師あり学習の分類問題のアルゴリズムについて学びます。

アンドリュー・エン(Andrew Ng)氏曰く、この週(Machine Learning(機械学習) Week 3)まで学べば、シリコンバレー機械学習アルゴリズムで大金を稼いでいるエンジニアよりも、機械学習に詳しくなれているようです。

<過去の記事>

【Coursera】「Machine Learning(機械学習) Week 1」〜機械学習の種類を学びたい〜 - 継続力 

【Coursera】「Machine Learning(機械学習) Week 2」〜複雑なケースでの回帰分析を学びたい〜 - 継続力


講師

アンドリュー・エン(Andrew Ng)氏です。
人工知能研究の第一人者であり、Google Brainの共同設立者、 Baiduの元副社長兼チーフサイエンティスト、スタンフォード大学の教授という凄い経歴の持ち主です。 

 

講義の概要

「Week 3」では、以下の内容が、約6時間程度で学べます。

ja.coursera.org


講義の内訳

講義の内訳は以下の通りです。

 

<ロジスティック関数(シグモイド関数)を用いた分類アルゴリズム
■Classification

  • 回帰分析の式を分類問題に適用した場合の問題点を説明。
  • この問題点を解決するための式として、ロジスティック回帰があることを説明。

 

■Hypothesis Representation

  • 値が0〜1の間に必ず収まるロジスティック関数(シグモイド関数)について説明。
  • ロジスティック関数における仮定関数の解は、値が1である確率を表す。


■Decision Boundary

  • 解が0、1になる決定境界を説明。
  • 非線形の決定境界について説明。


■Cost Function

  • ロジスティック回帰では、回帰分析と異なる目的関数(Cost function)を使う必要がある。
  • ロジスティック回帰の目的関数では、ローカルミニマムが多数存在しない凸関数になるように、ロジスティック回帰の判定結果が0,1で場合分けした目的関数が必要になる。


■Simplified Cost Function and Gradient Descent

  • 判定結果が0,1で場合分けしなくて済むような、目的関数について説明。
  • ロジスティック回帰の目的関数に最急降下法を使う方法を説明。


■Advanced Optimization


■Multiclass Classification: One-vs-all

  • 複数のカテゴリーに分類する方法を説明。
  • カテゴリー数分のモデルを作成し、分類する必要がある。


<「オーバーフィッティングの問題」と「正則化の適用方法」>
■The Problem of Overfitting

  • オーバーフィッティング(Overfitting)の問題について説明。
  • 仮定関数の説明変数を増やすことで、データセットへのフィット度合いを高めることができるが、そのデータセットでしか使えない関数になってしまうという問題がある。
  • オーバーフィッティングへの対処法として、説明変数を減らす方法と正則化がある。
  • 正則化は全ての説明変数が分類結果の予測のために必要な場合に役に立つ。


■Cost Function

  • 正則化について説明。
  • 正則化パラメータが大きすぎるとアンダーフィッティングしてしまう。


■Regularized Linear Regression


■Regularized Logistic Regression

 

どういう人におすすめか

「前回(Week 2の回帰分析アルゴリズム)」と同様に、「機械学習の言葉の定義だけでなく、実際にどういうアルゴリズムで実装するんだろう?」と疑問を抱えている人に対して、「具体的なアルゴリズム」を教えてくれる良い授業だと思います。
「Andrew Ng」氏の説明はとても分かりやすいため、是非動画を見てみてください。

ja.coursera.org