Citizens of both the U.S and Japan are scared, so we should avoid conflict
質問者様のお求めの穏便な言い方は「Citizens of both the U.S and Japan are scared, so we should avoid conflict」ですが、話している相手によっては、喧嘩腰の人もいますので、逆に「怖がっている」聞いて気分を害する人もいると思います。
僕だったら、「怖がっている」ではなく「利益がない」を選びますね。
例えば:
「Neither U.S nor Japanese citizens stand to benefit from conflict, so we should avoid it」(米国民も日本国民にも戦は利益がないので、避けるべき」
戦争は、勝てると思うから始めるものだと思います。
そう思っている人に「貴方達は怖がっている」と言えば、なおさら戦って怖がっていないことを証明しようとするという心理が働いていると思います。