Swim hard と言う表現はあまり聞かない気がしますが
頑張るで work hard と言った感じで面白いと思います。
冗談に寄っては上から目線に感じる事はあるかもしれないですが
特に気になりませんでした。
因みにまたではなくもっとではないでしょうか?
また一からと言う感じで言いたい場合は all over again
と言えます。
もっと運動しなきゃねと言いたい場合は you should exercise more
もしくはもっと泳がなきゃねで swim harder でも良いでしょう。