How Do Neural Networks Work?

-：それでは､ エキサイティングなチュートリアルをどうぞ｡ ディープラーニングの講座にようこそ｡ 今日は､ 「ニューラルネットワークはどのように機能するのか」というお話です｡ さて､ ここまで､ ニューラルネットワークがどのように構成されているか､ どのような要素で構成されているか､ そして､ その機能性まで､ 多くの基礎知識をご紹介してきました｡ そして今日は､ ニューラルネットワークの応用の実例を見ながら､ 実際にその応用を段階的に進めていきます｡ では､ どのような例で話を進めていくのか､ 見ていきましょう｡ 今回は､ 財産評価についてご紹介します｡ そこで､ プロパティのいくつかのパラメータを取り込み､ 値をつけるニューラルネットワークを見ていきます｡ ここで､ 今日のチュートリアルにはちょっとした注意点があります｡ それは､ 実際にネットワークをトレーニングするわけではないということです｡ ですから､ ニューラルネットワークで非常に重要なのは､ トレーニングすることです｡ そして､ このセクションの次のチュートリアルでそれを見ていくことになります｡ とりあえず､ 実際のアプリケーションに焦点を当てます｡ そこで､ すでにトレーニング済みのニューラルネットワークを使用することで､ トレーニングに煩わされることなく､ アプリケーションに集中することができます｡ そして､ すでに目指す最終目標が決まっているときに､ トレーニングをかいつまんで行います｡ いい感じ？ よし､ さっそく本題に入ろう｡ では､ いくつかの入力パラメータがあるとしましょうか｡ そこで､ 物件に関するパラメータが4つあるとします｡ 平方フィートで面積を確保しています｡ 寝室数､ 都市までの距離（マイル）､ 近隣の都市､ 築年数などがあります｡ そして､ これら4つのすべてが､ 入力層を構成することになるのです｡ もちろん､ 物件の価格を決めるパラメータはもっとたくさんあるのでしょうが､ 簡単のために､ この4つだけを見てみましょう｡ さて､ ニューラルネットワークは､ そのごく基本的な形として､ 入力層と出力層しか持っていません｡ だから､ 隠れ蓑はない｡ そして出力層は､ 私たちが予測する価格です｡ この形式では､ これらの入力変数がシナプスによって重み付けされ､ そこで出力が計算されます｡ また､ 例えば､ 価格はすべての入力の加重和のように単純に計算することも可能です｡ そして､ ここでもまた､ かなり多くの関数を使うことができます｡ 今使っているものを使ってもいいんですよ｡ 以前から持っていた掘削機能のどれかを使えばいいのです｡ ロジスティック回帰を使えばいいんだよ｡ 2乗関数を使えばいいんです｡ ここは結構何でも使えるんですよ｡ でも､ 要は一定の出力が得られるということです｡ さらに言えば､ 現存する機械学習アルゴリズムのほとんどがこの形式で表現できる｡ これは基本的に､ 変数をどう扱うかを図式化したものですね｡ 重みや計算式を変えることで､ これまで話してきた機械学習のアルゴリズムの多くを実現し､ このような形にすることができるのです｡ これは､ ニューラルネットワークがいかに強力かを示すもので､ 隠れ層がなくても､ 他のほとんどの機械学習アルゴリズムで有効な表現がすでにできているのです｡ しかし､ ニューラルネットワークには､ 柔軟性とパワーを与えてくれる特別な利点があり､ それが精度を高めることにつながっているのです｡ そして､ これが私たちの隠しレイヤーです｡ 私たちはそれを追加しました｡ そして今度は､ その隠されたレイヤーがどのように私たちに余分な力を与えてくれるのかを理解することになります｡ そのために､ 実際に例を挙げて説明します｡ このニューラルネットワークはすでに訓練されているので､ あとはそれを接続するだけです｡ ここでは､ プロパティを入力することを想像して､ ニューラルネットワークがどのように入力変数を処理し､ 隠れ層を計算し､ 出力層を計算するのかを順を追って説明します｡ では､ このまま行ってみましょう｡ これは楽しみだ｡ よし､ 4つの変数が左側に揃ったので､ まず隠れ層の一番上のニューロンから始めましょう｡ さて､ 以前のチュートリアルで見たように､ 入力層からのすべてのニューロンは､ それぞれのニューロンを隠れ層のトップニューロンに接続するシナプスを持ちます｡ そして､ そのシナプスには重みがあります｡ ここで､ いくつかの重みはゼロ以外の値を持ち､ いくつかの重みはゼロの値を持つことに同意しましょう｡ なぜなら､ 基本的にすべての入力が有効であったり､ すべての入力がすべてのニューロンにとって重要であったりするわけではないからです｡ 入力が重要でない場合もあるでしょう｡ そして､ ここでは､ x1が3を作るという2つの例を見てみましょう｡ そのニューロンにとって､ 面積と都市までの距離（マイル）は重要ですが､ 寝室と年齢は重要ではありません｡ そして､ ちょっと考えてみよう｡ どうしてそうなるのか？ なぜ､ あるニューロンが地域や距離と連動しているのかとか｡ どういうことだろう？ まあ､ それは通常､ 都会から離れれば離れるほど､ 不動産は安くなり､ したがって物件の坪数も大きくなる､ ということかもしれませんね｡ 同じ値段で､ 都会から遠く離れれば離れるほど広い物件が手に入るわけですから､ それは普通のことですよね？ それはそれで意味があると思います｡ この神経細胞がやっていることは､ おそらく具体的に探していることで､ まるでスナイパーのようなものです｡ 都会からそれほど離れていない､ 広い面積を持つエリアの物件を探しているのです｡ 都会からの距離の割には､ 不公平な坪単価になっているわけですね｡ つまり､ 異常なものは､ 平均よりも高いということですね｡ だから､ かなり近いところにあるのですが､ 同じ距離の他のものと比べても大きいんです｡ そのため､ そのニューロンは､ ここでも推測ですが､ そのニューロンは､ レーザーで特定の性質を選んで､ 活性化するのかもしれません｡ 一定の条件を満たしたときだけ起動する､ 起動する｡ その､ 距離と敷地の広さ｡ そして､ 自分自身の中で計算を行い､ その2つを組み合わせて､ ある基準に達するとすぐに発火するのです｡ そして､ それが出力層での価格に寄与しているのです｡ そのため､ この神経細胞は､ 寝室や物件の築年数などにはあまり関心がなく､ その特定のことに集中しているのです｡ このようなニューロンをたくさん持っているからこそ､ ニューラルネットワークのパワーが発揮されるわけですが､ 他のニューロンはどのように機能するのか､ 先ほど見ていきましょう｡ しかし､ 私がここで同意したかったのは､ イメージを乱さないために､ 活躍していないシナプスにまでこの線を引かないようにしようということです｡ それだけで描く気が失せます｡ だから､ その2つを取り除けば､ 正確にわかるようになる｡ なるほど､ この神経細胞は面積と都市までの距離に着目しているんですね｡ よし､ それで意見が一致したのなら､ 次に行こうか｡ 真ん中の1枚をとってみましょう｡ ここでは､ 3つのパラメータがこのニューロンに供給されています｡ そこで､ 面積､ 寝室､ 築年数などを把握しました｡ では､ ここにある理由は何だろう？ もう一度､ この神経細胞の直感､ 思考を理解してみましょう｡ この神経細胞はどのように考えているのだろうか？ なぜ､ この3つのピラミッドを選んでいるのでしょうか？ それは何でしょう？ データで見つかったようなものがあったのでしょうか？ つまり､ これがトレーニングされたデータセットであることは既に証明されているのです｡ トレーニングはかなり前に行われたもので､ 1日前とか､ 誰かがすでにこのデータをトレーニングしているのかもしれません｡ だから､ 今は応募するだけです｡ そして､ この神経細胞は､ 何千もの物件の例を通じて､ 面積と寝室と年齢の組み合わせが重要であることを発見したのです｡ なぜ､ そうなるのでしょうか？ 例えば､ このニューラルネットワークがトレーニングされた郊外の特定の都市では､ おそらく2人以上の子供を持つ家族が多く､ ベッドルームの多い大きな物件を新築で探しているのではないでしょうか？ どれが古い物件なのか｡ だって､ あの辺りは､ ほとんどの物件が､ なんとなく......なんです｡ 大きな物件は古いのが多いけど､ モダンな家庭も多いよ｡ また､ 社会的な人口動態が変化したのか､ 若い世代の雇用や仕事が増えているのかもしれませんね｡ たぶん､ 人口構成が変わって､ 若いカップルや若いファミリーが物件を探すようになったが､ 新しい物件を好むようになったということでしょう｡ だから､ 築年数を低くしてほしいということなのです｡ そして､ このニューラルネットワークが受けた訓練から､ 面積が広く､ 寝室がたくさんある物件は､ 両親､ 第一子､ 第二子のための寝室が少なくとも3つあることが分かっています｡ 少なくとも3つのベッドルーム､ 多分ゲストルーム､ 高い面積でベッドルームがたくさんある新しいプロパティの場合､ それが評価されます｡ その中で､ その市場において､ それは貴重なものです｡ そのため､ その神経細胞はそれを察知して､ 「よし､ これは私が探しているものだ」と理解します｡ 都市までの距離をマイル単位で気にすることはない｡ 面積が広くて､ 寝室がたくさんあれば､ どこでもいいんです｡ 「その基準を満たすと､ 神経細胞は発火する｡ この3つのパラメータを組み合わせることで､ ニューラルネットワークの力が発揮されるのです｡ それらを組み合わせて新しい属性にするため､ より精度が高くなるのです｡ そう､ これがそのニューロンの働きなのです｡ そして､ もうひとつ見てみましょう｡ 一番下のものを見てみましょう｡ 例えば､ この神経細胞は... パラメータを1つだけピックアップすることも可能でした｡ 年齢だけ拾って､ 他は拾わなかったのかもしれない｡ そして､ どうしてそうなったのか｡ ご存知のように､ 古い物件は使い古されているため､ 価値が下がるのが普通です｡ おそらく､ 建物が古くて､ いろいろなものがボロボロになっている､ もっとメンテナンスが必要だ､ ということでしょう｡ だから､ 不動産の価格からすると値下がりする｡ 一方､ 新築の場合は､ 新しいから高くなるのです｡ しかし､ おそらく築年数が一定以上であれば､ それが歴史的建造物であることを示す可能性があるのでしょう｡ 例えば､ 築100年未満の物件は､ 古ければ古いほど価値が下がります｡ しかし､ 築100年を飛び越えた途端､ 突然､ 歴史的建造物になるのです｡ なぜなら､ ここは数百年前に人が住んでいた物件だからです｡ 物語があり､ 歴史がある｡ そして､ それが好きな人もいる｡ それを大切にする人もいます｡ 実際､ それを望んでいる人はかなり多いし､ その物件に住んでいることを誇りに思うだろう｡ 特に社会経済的に恵まれている層では､ 友達に見せびらかしたりすることもあるようです｡ そのため､ 築100年以上の物件は歴史的建造物とみなされる可能性があります｡ そのため､ この神経細胞は､ 築100年以上の物件を見つけるとすぐに起動し､ 全体の価格に貢献するのです｡ そうでなければ､ 100年未満のものであれば､ 動作すらしませんしね｡ そして､ これはその良い例で､ 整流器機能が応用されているのです｡ だから､ ここにあるのは､ とても... ある時期までゼロで､ その後100歳とするような｡ そして100歳を過ぎると､ 古くなればなるほど､ この神経細胞の全体価格への貢献度が高くなります｡ そして､ この整流器機能の動作を示す､ 非常にシンプルで素晴らしい例です｡ そうだ､ この神経細胞かもしれない｡ ましてや､ ニューラルネットワークは､ 自分たちでは思いつかないようなことまで拾っていたかもしれませんよね？ 例えば､ ベッドルーム＋都市への距離､ その組み合わせが何らかの形で価格に寄与しているのかもしれません｡ 他のニューロンほど強くないかもしれませんが､ それでも貢献しているのです｡ あるいは､ 価格を引き下げる､ それもあり得るし､ その他そういうこともあり得る｡ そして､ ある神経細胞は､ これら4つのパラメータをすべて､ あるいは組み合わせで拾ったのかもしれません｡ このように､ ニューロン､ つまり隠れ層の状況によって､ ニューラルネットワークの柔軟性が高まり､ ニューラルネットワークが非常に特殊なものを探すことができるようになります｡ そして､ 組み合わせることで､ そこにパワーが生まれる｡ アリの例と同じですね｡ アリは一匹では蟻塚を作れませんが､ 千匹､ 十万匹と集まると､ 一緒に蟻塚を作ることができるんですね？ そして､ それがこの状況です｡ これらのニューロンは､ それぞれ単独では価格を予測することはできませんが､ 一緒になると超能力を発揮し､ 適切に訓練され､ 適切に設定されれば､ かなり正確に価格を予測することができるのです｡ そして､ その活用方法を理解することが､ この講座の目的です｡ それでは､ ニューラルネットワークが実際にどのように機能するのか､ 順を追って説明します｡ 今日のチュートリアルを楽しんでいただけたら幸いです｡ 次回お会いするのが楽しみです｡ それまでは､ ディープラーニングを楽しんでください｡