継続力

IT系サラリーマンが、書籍や講座から学んだこと、効果があった勉強方法を紹介します。

【Coursera】「Machine Learning(機械学習) Week 2」〜複雑なケースでの回帰分析を学びたい〜

前回(「Coursera Machine Learning(機械学習) Week 1」)は、一つの要素(例えば面積)から土地の価格を予測する方法を学びました。

ただ、実際に土地の価格を予測する際に、「土地の面積だけで価格が決まる!」とは思わないですよね?

他にも、駅からの近さ、その地域の安全性等、多数の要素から価格は決まるはずです。

今回「Coursera Machine Learning(機械学習) Week 2」は、多数の要素から価格を予測する場合にも応用できるアルゴリズムについて学びます。

<過去の記事>

【Coursera】「Machine Learning(機械学習) Week 1」〜機械学習の種類を学びたい〜 - 継続力 


講師

アンドリュー・エン(Andrew Ng)氏です。
人工知能研究の第一人者であり、Google Brainの共同設立者、 Baiduの元副社長兼チーフサイエンティスト、スタンフォード大学の教授という凄い経歴の持ち主です。 

 

講義の概要

「Week 2」では、以下の内容が、約8時間程度で学べます。

  • 重回帰分析の方法として、最急降下法と正規方程式を説明。
  • 具体的なプログラミング方法を説明。

ja.coursera.org


講義の内訳

講義の内訳は以下の通りです。


<重回帰分析の方法として、最急降下法と正規方程式を説明>
■Multiple Features

  • 重回帰分析(multivariate linear regression)について説明。
  • 単回帰分析は、1つの目的変数を1つの説明変数で予測するもの。
  • 重回帰分析は、1つの目的変数を複数の説明変数で予測するもの。


■Gradient Descent for Multiple Variables


■Gradient Descent in Practice I - Feature Scaling

  • 重回帰分析において、説明変数の値の範囲がバラバラだと、最急降下法の計算に時間がかかる。
    このため、説明変数の値の範囲が「−1〜1」の範囲になるようにスケーリングするといい。


■Gradient Descent in Practice II - Learning Rate

  • 最急降下法が正しく機能しているかを確認するには、計算結果が常に減少しているかを確認すれば良い。
  • 最急降下法の学習率が大きすぎると収束せず、小さすぎると収束までに時間がかかりすぎる。
    学習率は適切な大きさを選ぶ必要がある。


■Features and Polynomial Regression

  • 多項式の仮定関数として、3次関数あるいは無理関数を使用した例を説明。

 

■Normal Equation

  • 最急降下法と正規方程式(Normal Equation)のメリデメを説明。
  • 説明変数が少ない時は、正規方程式が有利。
    説明変数が多い時は、最急降下法が有利。
    (おおよそ説明変数が1万超える場合は、最急降下法が有利)


■Normal Equation Noninvertibility

  • 正規方程式で使う逆行列が算出できない場合の対応について説明。

 

<具体的なプログラミング方法を説明>
■Basic Operations

  • Octaveの基本的な関数を説明。


■Moving Data Around

  • データの移動方法、ファイルの入出力方法、行列内のデータ指定方法を説明。


■Computing on Data

  • Octave上での行列の演算方法を説明。


■Plotting Data

  • Octave上でのグラフの描画方法を説明。


■Control Statements: for, while, if statement

  • Octave上の制御文について説明


■Vectorization

  • 数式をfor文ではなく、ベクトル化して計算する方法を説明。

 

どういう人におすすめか

機械学習の言葉の定義だけでなく、実際にどういうアルゴリズムで実装するんだろう?」と疑問を抱えている人に対して、「具体的なアルゴリズム」を教えてくれる良い授業だと思います。
「Andrew Ng」氏の説明はとても分かりやすいため、是非動画を見てみてください。

ja.coursera.org