pain には「面倒くさい（very annoying）な人［こと］」という意味があります。
pain in the 「ass［butt］などと言うこともあります。
意味を強調するときは、real などを使います。
例）
He's a real pain.
あの人ホントに面倒くさい。
I really didn't want to work with him. He's a pain.
彼と一緒に仕事したくなかったんです。面倒くさい男ですから。
（USA Today-Jul 17, 2008 より）
He's a pain, but we get along.
面倒くさい人だけど、気が合うんですよ。
（Wigan Today-Mar 8, 2017 より）
よかったら参考にしてください。
ありがとうございました。
彼は、つき合いづらい人です。
He is hard to be with.
(一緒にいるのが大変な人)
といいことが出来ます。
このように～is 形容詞 to be with で
「一緒にいるのが~の人」となりますので、色々応用がききます。
ちなみにこの反対は
She is easy to be with.
(彼女は一緒にいて楽だ）
となります。
get along/on with...は「～とうまく付き合っていく」という表現です。alongは米語でonはイギリス英語的です。
He is hard to get along/on with.
彼とうまくやっていくのは難しい。
また意訳して、「長い時間話していると疲れる」 というような場合は次のようにも言えます。
I don't feel comfortable long talking to him.
彼と長く話していると疲れる。
日本 
