You don't have to speak English fluently if you just travel.
話している相手に対して「旅行だけなら英語はそんなにいらないよ。」と言う時は、
"You don't have to speak English fluently if you just travel."
と言ったりします。自分が英語が必要ないと相手に言う場合は、主語を"I”に変えてください。
"don't have to ~"は、
「~する必要がない」
"speak fluently"は、
「流暢に話す」
という意味です。
「海外で生活するのでなければ英語はそんなにいらない。」と言う場合は、
"If you're not a permanent resident, you don't have to speak English fluently."
"permanent resident"は、「永住権がある住民」のことです。アメリカで生活するには基本的に永住権が必要なので、このような言い方にしてみました。
ご参考になれば幸いです。
If it's just a pleasure trip, I don't need to speak that much English.
When I'm just traveling on vacation, I don't need to speak English much.
「that much」は「それほど」「そんなに」という意味ですが、何ほどだかは不明でもこの表現を使えます。
この違いはポイント：
「speak that much English」それほど英語をしゃべる
「speak English much」いっぱい英語をしゃべる
「just」はいろいろな意味があります。この場合では「ただ」「だけ」です。「only」でも使えます。
日本 
アメリカ合衆国 
