名古屋大学大学院入試　情報理論

今回は名古屋大学大学院入試情報理論について記述していきます。情報理論はこの科目の学習をしていなくとも、身近で起こる現象を理論的に議論しており、自然に興味の沸く科目だと思います。恐れずに学習を進めましょう。

名大入試　情報理論の特徴

情報理論の難易度は、しっかりと学習を積めばそれほど高くないように思います。そもそも大学で扱う情報理論の範囲はそれほど広くなく、名大院試で出題される範囲も非常に限定的です。

基本的にはエントロピーの理解について問う問題や、情報源、通信路に関する問題です。なので、かなり勉強時間に対するコスパが良く、解答する科目の候補に入れておきたいものです。

ただ、数年に一度難問が出題されますのでご注意ください。

逆に、マルコフ連鎖の遷移確率行列が記せれば、ほぼ終わりという簡単な年もありあました。

ボリュームの少ない科目ですから、解答科目にする方は、出題範囲をもれなく学習しておいてください。

出題内容としては、エントロピーに関する基礎知識問題が頻出で、条件付きエントロピーを求めさせる問題、通信路(相互情報量、誤り源）、マルコフ情報源、検査行列などの符号問題(巡回符号、パリティ検査符号も出た)などです。

独学だとなかなかとっつきづらい科目ですので、大学の講義などがある場合はその講義を集中して聞き、わかる人の解説をよく聞くことが大切です。実際自分は参考書と、インターネットで入手した他大学の講義資料を参考にして勉強していました。

名大入試　情報理論の学習法

まず、参考書のご紹介です。

この参考書は、情報理論を勉強する方には必須なのではというくらい人気で、有名な本です。かなり人気ですが、なかなか書店で見つけることができないため、インターネットで購入するのが手っ取り早いです。おそらく情報理論の勉強をする人口が少ないのでしょう。さて、この参考書の説明ですが、まずは分かりやすいです。最初の章で、情報理論という分野の概要を説明し、身近な例を用いて親近感を感じながら学習を進められるよう、工夫がしてあります。定理の証明も理論的に行っており、他に類を見ない名著です。値段もさほど高くないので、気軽に購入できると思います。この本の内容を完璧に理解すれば、情報理論の対策は6割終えたと考えてもよいでしょう。

お次はこちら

この参考書は上の「情報理論」よりも詳細な説明が記述されています。符号化の説明や平均符号長の説明など要所のボリュームをしっかり確保しており、丁寧に解説しています。上の「情報理論」で足りないところをこの参考書で補完すればほとんどの問題に対応できます。

ここまでで、ざっくりとしたインプットは、ほぼ出来ていると思います。足りないものは、具体的な問題パターンの把握と例題です。自分は、北大の喜田教授の情報理論に関する講義資料を参考にしていました。大学の講義資料としては珍しく、オープンに掲載されています。資料のクオリティがとても高く、喜田教授には勝手に感謝しています。著作権など何かと怖いのでURLの掲載はやめておきますが、検索すればすぐに出ると思いますので、情報理論を受ける方は、一度サイトを覗くことをお勧めします。

名大入試　情報理論の対策

対策としては、上記の学習法を繰り返し、過去問で練習を積むことだと思います。やはり例題などが少ないので、、

本番は、チョンボミスをなくすために、表を書いて遷移確率について整理しましょう。遷移確率を正しく理解していないために、自分は何度も違う答えに行き着きました。

また、高得点をとるためにエントロピーは完全に理解しておきましょう。条件付きエントロピーの公式は知っていても正しく使いこなせないと意味がない(使用する確率に注意)ため、丁寧に学習してください。

他にも、誤りパターンを訂正する練習はたくさん積んでおいてください。その過程でシンドロームやハミング符号などの理解もついでに深まるので。

おわりに

以上が情報理論の解説です。冒頭でも述べましたが、専門科目で一番勉強しなくても解けるのが情報理論という科目だと思います。正しく学習し、高得点を狙いましょう。