「失敗の積み重ね」がLLMを生んだ（前編）— 数学の限界から意味の幾何学へ

• URL: https://dev.classmethod.jp/articles/llm-birth-history-turing-shannon-transformer-gpt3-part1
• 日付: 2026-06-25
• Tier: Tier 2
• 要旨: LLM誕生の80年前夜から、チューリング機械、情報理論、ニューラルネットワークの訓練、言葉のベクトル化まで。設計されず積み重ねられた技術的断片がどう接続したかを辿る。AIの冬を越えた深層学習の復活も、GPU並列化という幸運なハードウェア一致があって初めて実現した。

詳細

1936年のチューリングは数学の完全性を問いていた。停止問題の無決定性を証明するため、計算とは何かを厳密に定義した。その副産物がユニバーサル・チューリング・マシン、つまり今のコンピュータ概念だ。1948年のシャノンは電話線のノイズ低減を目指していた。確率を使い情報量を定量化し、エントロピーという数学を生んだ。この式は80年後のLLMの損失関数になる。1958年のローゼンブラットはパーセプトロン、つまり機械学習の最初のデモを示した。だが1969年、ミンスキーとペパートがXORで多層性の必要性を証明すると、資金は凍結され冬がやってきた。1986年のバックプロパゲーションが多層訓練を可能にしても、なお計算速度が壁だった。2012年、AlexNetはGPUで計算を並列化し、数千の小学生が同時に足し算するように行列演算を高速化した。深さの壁はReLUと残差接続で破られた。一方、2013年のWord2Vecは単語を意味のベクトル座標に配置し、言語を数学にした。意味を空間の方向で測るコサイン類似度は、後のRAGと検索エンジンの礎になる。個々の発明は別々の問題を解いていた。数学の機械化可能性、通信効率、機械の学習可能性、言語の数値化。それらが1970年代から2010年代にかけて偶然に接続し、現在のLLMになった。