I want to improve my English, but just living somewhere where English is spoken isn't enough.
この言い方が「英語は上達したいけど自分自身で行動しないと住んでいるだけでは上達しない」という気持ちが含んでいます。
直訳と違いますが、伝えたいことを表現できるフレーズになると思います。
「自分自身で行動しないと」という部分は I think you need to be proactive about ~ が一つの言い方になります。
参考になれば幸いです。