今回公開したillqha2.1は学習ログでいうところの7というフォルダに保存された評価関数です。
検証データが良くなかったのか、finalに保存されたものはあまりよろしくなかったですね。
やはり教師を何週もするのはかなり難しいです。

透。さんなど何人かの方から「lambda混合にしろよ、lambda混合はいいぞ（意訳）」という有り難いアドバイスを頂いたので、今回はlambda混合絞りにしてみました。
limitが1000なのはdepth12の教師はlimitを1000に設定しているのと、終盤にいくにつれてあんまり評価値（勝率）なんて信用ならないだろと考えているからです。（Ponanza定数？の600も本当にそのくらいがベストなのかな？と思っている）
lambda混合は悪く無さそうですが、あまり値を大きく離すと良くない印象を受けました。（0.25と0．01とか）

また、学習時にlambdaを小さくするとinitial lossが大きく、nn_batchsizeを小さくするとmove accuracyが大きくなりますね。
initial lossは大きい方が学習の余地がたくさんありそうでいいのかそれともlossなんだから小さい方がいいのか……。
move accuracyが大きくなれば強いのかというと実際はそんなこともなく……。

とまだまだわからないことだらけです。

使った教師は3億弱で、depth10を2億5000万、残りがdepth12といった具合です。
depth12はlimit1000、depth10は大部分を定跡+ランダムムーブでlimit1500〜3000、後は振り飛車が10％程度、あとは詰みまでで作成したものが15%程度、といった内訳になっています。

検証データにはdepth14かつ全然別の条件で生成されたものを使うと教師とあまり被らなくていいのかもしれません。


結局のところ、NNUEの学習はdepth10と12の教師で2〜3億くらい良い感じの教師を作ればだれでも簡単に強く出来るという段階にあるのかなという気がします。ハイスペックPCを持て余している方は挑戦するといいですよ。

各種間違い指摘やアドバイス等ありましたらTwitterのDM等で教えて下さると嬉しいです。