「英語力が衰える」ことは次のように言えます。
ーone's English is getting worse
例:
It's only been a couple of days since I last spoke English, but I can see my English getting worse already.
「最後に英語を話してからたったの2日しか経っていないのに、英語が衰えてきているのがわかる」
I can see my English getting worse already. で「英語が衰えてきているのがわかる」
ご参考まで!