言い難いなら言わなくていいって英語でなんて言うの？

"push yourself to ~" 「無理して～をする」という意味の言い回しです。"push"が「押す」という意味の単語で、自分を追い込む、というイメージの表現ですね。 基本的には何を無理してまでやろうとしているのか言葉にする必要がありますが、質問者様が尋ねているような状況であれば会話のコンテクストがあるので"push yourself"だけでも意味は十分伝わるでしょう。 なおもっと具体的に意図を伝えたい場合は例二つ目の文を使いましょう。当たり前と言えば当たり前ですがゆっくりと具体的に長い文章を言う方が親しみは感じられやすいです。

You don't have to talk/say if you don't want to. 言いたくなければ言わなくていい。 この場合の「言うのが難しい」は、おそらく「問題や障害があって言えない」のではなく、「人間関係や状況を考えると言いたくない」という意味のほうが実際に近いと思います。そのため英語では"you don't have to talk/say"が一番しっくりくるような気がします。