這是一個learning rate schedule和batch size schedule的問題，目前沒有找到什麼優雅的callbacks之類的實現來幫助，簡單的做法就是batchsize=big的時候training一下，停止，然後batch size = small的時候再training一下。
learning rate和batch size的調整很多時候，目的在於loss 卡住不動的時候，調小learning rate和batch size 可能可以幫助loss 繼續下降，關於batch size的動態設計目前沒有，簡單實現很easy，要根據 validation metric來動態設計就麻煩一點，不過也不難實現就是。
關於learning rate 衰減和 batch size 衰減的問題，google上有挺多論文描述的，不過我懶得看，大都是各種toy data上的自high，個人在用的時候，小batch size 是有可能能夠幫助進一步降低loss的，但是也不一定各種情況下都work，只能說作為nn training的過程中，一種啟發式的trick stragedy 來用了。
話說有人有這樣的實現可以發一份給小弟嗎？？感謝~~
