同じ職場に、超気の合わない人（別に、何も悪い事されてないんだけど雰囲気が絶対に合わない）ので毎日、この仕事を辞めようか考えている・・・「あ〜、彼さえ居なかったら（この仕事）辞めたいと思わないのに・・・」= I wouldn't think to quit this work if he wasn't here.で可？
If he wasn't here in this office, I wouldn't think of quitting this job.
おっしゃられている内容は、以下のようにも表現できると思いました(*^_^*)
If he wasn't here in this office, I wouldn't think of quitting this job.
「彼がこのオフィスにいなかったら、この仕事を辞めることを考えなかっただろう」
仮定法過去で文を作りました。
「～しようと考える」はthink of ～ingと言います。think to Vとは言いません。
「仕事」と名詞で言いたい時は、基本的にworkよりもjobの方が無難だと思います。
以上です。
少しでも参考になれば幸いです(*^_^*)
アメリカ合衆国 
日本 
