If you ask me if I want to do it or not, I'd say not really
「言われれば」と言う文書構造は英語でも同じくあります。
英語だと「If you ask me」になります。
「言われれば」ではなく、「聞かれれば」ですが、同じニュアンスです。
したがって、「If you ask me if I want to do it or not, I'd say not really」を提案しました。
質問者様のシチュエーションに適用してみますと、次のような会話が想定されます。
Recruiter: How about this job as Eikaiwa teacher? Would you be interested in it?(リクルーター:この英会話のお仕事はどうですか?興味はありますか?)
You: If you ask me if I want to do it or not, I'd say not really(やりたいかと言われれば、別にそう言う訳ではないです。)
「If you ask me」は正確に言うと、本来は「僕に言わせてみれば」と言うニュアンスなんです。
「If you ask me」を使った文書も参考のために提案しました:
- If you ask me, the whole election process is one big waste of time(僕に言わせてみれば、選挙というものは時間の無駄だ)