やりたいかと言われれば、そうでも無いって英語でなんて言うの？

「言われれば」と言う文書構造は英語でも同じくあります。
英語だと「If you ask me」になります。
「言われれば」ではなく、「聞かれれば」ですが、同じニュアンスです。

したがって、「If you ask me if I want to do it or not, I'd say not really」を提案しました。

質問者様のシチュエーションに適用してみますと、次のような会話が想定されます。

Recruiter: How about this job as Eikaiwa teacher? Would you be interested in it?（リクルーター：この英会話のお仕事はどうですか？興味はありますか？）
You: If you ask me if I want to do it or not, I'd say not really（やりたいかと言われれば、別にそう言う訳ではないです。）

「If you ask me」は正確に言うと、本来は「僕に言わせてみれば」と言うニュアンスなんです。

「If you ask me」を使った文書も参考のために提案しました：
- If you ask me, the whole election process is one big waste of time（僕に言わせてみれば、選挙というものは時間の無駄だ）

こんにちは。
ご質問ありがとうございます。

ご質問の文章ですが、次のような感じでも伝わると思います。
It’s not that I want to do it that much. - そんなにやりたいと言うわけでもない。
It’s not that - と言う訳でもない

よろしくお願いします。