テクノロジ系 / 基礎理論
事前学習
事前学習は、大量のデータで前もって幅広い知識を学習させておく段階です。
もう少し詳しく
特定の用途に合わせる前に、大量・多様なデータを使ってモデルに一般的な知識やパターンを学ばせる段階です。これにより土台となる能力を獲得します。その後、用途に合わせて調整(ファインチューニング)します。大規模言語モデルなどを作る際の、最初の重要な学習段階です。
試験での見方
例:大量のテキストで幅広い言語知識を学ばせる段階が事前学習です。
テクノロジ系 / 基礎理論
事前学習は、大量のデータで前もって幅広い知識を学習させておく段階です。
特定の用途に合わせる前に、大量・多様なデータを使ってモデルに一般的な知識やパターンを学ばせる段階です。これにより土台となる能力を獲得します。その後、用途に合わせて調整(ファインチューニング)します。大規模言語モデルなどを作る際の、最初の重要な学習段階です。
例:大量のテキストで幅広い言語知識を学ばせる段階が事前学習です。
用途に合わせる前の一般的な学習段階である点が核心です。ファインチューニングとの順序・関係が頻出です。