My English is getting rusty.
英語力が落ちてきている。
rust 「[錆び](https://eikaiwa.dmm.com/uknow/questions/34857/)」を使って「英語力の[低下](https://eikaiwa.dmm.com/uknow/questions/65203/)」を表してみました。
to get rusty で「錆びつく」になるので,「英語力が落ちる」は
be getting rusty / to begin to get rusty(錆びつき始めた)
という英語にしました。
「三日間英語の勉強を放置してたら、英語力ががくんと落ちてしまいました」
After three days of not studying English, my English begins to get rusty.
My English is starting to slip away=英語を少しずつ[忘れていってる](https://eikaiwa.dmm.com/uknow/questions/34753/)
Slip awayはするすると逃げて行く、と言った意味合いがあります。
I need to brush up on my English=英語をまた身につけなきゃ
ジェレマイアさんの回答にMy English is getting rustyとありますよね。「英語が錆びて行く」と言う意味です。その錆びを掃うかのような仕草がBrush up、「[磨く](https://eikaiwa.dmm.com/uknow/questions/56687/)」です。錆び、もしくは放置されて溜まってしまったホコリを落とすような感じで、英語を思い出そう、と言う言い回しです。