ストラテジ系 / 企業活動
AI 言語モデルのスケーリング則
言語モデルの規模、学習データ量、計算量を増やすと性能が一定の傾向で向上しやすいという経験則。
もう少し詳しく
スケーリング則は、大規模言語モデルの性能が、パラメータ数、データ量、計算資源などとどのような関係で伸びるかを表す考え方です。ただし、性能向上にはデータ品質、評価方法、コスト、消費電力、安全性の問題も関係します。
試験での見方
より大きな言語モデルを学習する前に、必要なGPU計算量や学習データ量、期待される性能向上を見積もる。
ストラテジ系 / 企業活動
言語モデルの規模、学習データ量、計算量を増やすと性能が一定の傾向で向上しやすいという経験則。
スケーリング則は、大規模言語モデルの性能が、パラメータ数、データ量、計算資源などとどのような関係で伸びるかを表す考え方です。ただし、性能向上にはデータ品質、評価方法、コスト、消費電力、安全性の問題も関係します。
より大きな言語モデルを学習する前に、必要なGPU計算量や学習データ量、期待される性能向上を見積もる。
「大きくすれば必ず万能になる」という意味ではなく、規模と性能・コストの関係を考える経験則として押さえます。