That's not my job
は「その仕事は私の守備範囲外ですよ。」
という意味で使われます。友達同士なら良いと思いますが、仕事上「それは私には仕事じゃない」と答えると波風を立ててしまうのは英語でも同じです。
そんな時はこんな風に言ってみましょう。
I am not usually a person who handles that.
その仕事いつもはしてないんですが...
「私はその仕事には責任がない。(なぜなら、私の仕事ではないから)」
"be responsible for 〜" は「〜に対して責任がある」という意味です。
「私にはその仕事を引き受ける筋合いはない。(同上)」
"have no business 〜ing" は「〜する筋合いはない、権利はない」という表現です。
be supposed to do「doすることになっている」という表現を用いて
That's not what I'm supposed to do.
「それは私がすることになっていることではない」
→「それは私のすることではない」
また、逆に
You are supposed to do that.
「それはあなたがやることになっている」
つまり「お前の仕事だろ」的な意味を表す表現としてみました。
このように言っても、逆説的ですが「私の仕事じゃない」ことをニュアンスに含ませることができますね。
ご参考になれば幸いです。