辛くなるというのは、「孤独」という言葉を英語にすると、
伝わる英語になると思います。
I feel lonely when I am alone.
「私は一人になると、孤独だと感じます」
〇alone：(形容詞)ひとりで、孤独で
aloneと似ている表現として、by oneselfがありますが、ニュアンスが異なります。
alone→１人で、孤独で ※「１人ぼっちで寂しい」というニュアンスが入っています。
by oneself→自力で、独力で ※誰の力も頼らずに自分で行う。
(例)
She lived alone.
彼女は１人で住んでいた。(１人で住むことに対して寂しいと感じているニュアンス)
She lived by herself.
彼女は1人で住んでいた。(単独で住んでいるというニュアンス)
ご参考になれば幸いです。
1. It is hard to be alone
一人になる＝to be alone
It is hard=辛い・大変
2.It is painful to be alone
It is painful＝辛い・痛む（心など）
以上の２つの表現がありますが、伝えたいニュアンスによって使い分けることをおススメします。
maimaiさんのケースの場合、I can forget about my situation when I’m drinking with a friend, but that’s only temporary. When I’m alone, it’s hard. と言う様な表現が使えます。訳すと、「友達と飲んでる時は、現実を忘れることはできるけれど、それは一時的なもの。一人の時は、辛い。」
少しでもお役に立てれば幸いです。
ありがとうございました。
日本 
