There's only a little left, so drink the rest of your milk.
あと少しだからミルク全部飲んじゃって。
は英語で
There's only a little left, so drink the rest of your milk.
といえます。
あと少しだから
There's only a little left.
全部飲んじゃって
Drink it all
Drink it all up
赤ちゃんなので、シンプルで短いほうがいいと思います。
例文:
全部飲んで
Drink it all
飲んで
Drink
あと少し
Just a little bit more