ただのわがままに聞こえるかもしれないけど、そうじゃないよwと伝えたいです。文面じゃ伝わりにくいことがあるので。
「我がまま」
"selfish"
"egoistic"
二つ目は日本語でも言いますね。これを質問者様の挙げた英文に当てはめますと、
"It may sound selfish, but there is more to it than that."
"It may sound egoistic, but there is more to it than that."
となります。"more to it"で「そうじゃない」「もっと意味がある」という意です。
回答したアンカーのサイト
DMM英会話