バッチサイズ の用語ページの内容を、手を動かして定着させるためのチュートリアルです。手順どおりに進めると、定義を自分の言葉で説明できる状態まで到達できます。
「バッチサイズ」が何を指すのか、最初の一文を自分の言葉で言い換えてみます。バッチサイズとは、モデルの学習を行うときに一度に処理するデータサンプル(入力データ)の数です。— この一文を土台にすると外れません。
バッチサイズの設定は、学習速度とモデルの性質の両方に影響します。この節を読み、仕組みの該当部分をページで確認しましょう。
一般に、バッチサイズが大きいほど1回のパラメータ更新にかかる計算量は増えますが、データセット全体を1周する(エポック)あたりの更新回数は減ります。この節を読み、仕組みの該当部分をページで確認しましょう。
実験で決める:いくつかの候補を試し、検証データでの性能を比べます2のべき乗を使う:32や64、128、256などがよく用いられます。この節を読み、仕組みの該当部分をページで確認しましょう。
プロンプト集の型を使って「バッチサイズ」を誰かに説明する文章を書いてみます。最後に「まとめ」(バ…)と突き合わせて不足を補います。