ご質問ありがとうございます。
牛乳等の紙製容器はpaper milk cartonと言います。紙製容器はpaper containerとかpaper cartonと言います。すすぐはto rinseまたはto rinse outと言います。rinse outと言ったら、特に「中から汚れ出す」みたいな意味になりますので、この牛乳等の場合ではrinse outも全然使ってもいいと思います。
例文:Please rinse out the inside of the paper milk carton.
ご参考いただければ幸いです。