かなり 厳しい言い方になりますが、
Your existence alone is a nuisance.
ストレートに「あなたの存在自体が迷惑」という意味です。
* existence 存在
* nuisance 邪魔/迷惑
遠回しに皮肉ぽく言いたいなら、
We can’t live without you.
(私たちはあなたなしでは生きていけない)
または、
What are we gonna do without you?
(あなたなしで私たちはどうなるの？)
と言えますよ、参考に！
I get frustrated just thinking about him being there.
この場合、次のような言い方ができますよ。
ーIt's annoying just knowing he's there.
「彼がそこにいると知っているだけで迷惑だ」＝「彼の存在が迷惑だ」
ーI get frustrated just thinking about him being there.
「彼がそこにいるのを考えるだけでイライラする」＝「彼の存在がうざい」
ご参考まで！
アメリカ合衆国 
カナダ 
