ちょっとずつ掃除を始めてくださいって英語でなんて言うの？

"gradually"
→「少しずつ」
→「ちょっとずつ」

質問者様が思っているニュアンスに会う単語は上述の"gradually"でしょう。少しずつ掃除する、少しずつ片づけるという意を伝えることが出来ます。

「掃除」も、「ちょっとずつ」というニュアンスを強調するため"tidy"という表現を用いて訳しています。別に"clean"でも構いませんがささやかな掃除というニュアンスは"tidy"のほうがうまく伝えられます。