①Don't worry, it's no big deal!
「大丈夫よ、大した事じゃないから！」
②No worries, it's not that important!
「気にしないで、そんなに重要なことじゃないから！」
Don't worryとNo worriesは「心配しないで」「気にしないで」という意味のフレーズです。
「答えをもらわなくても全然大丈夫。」
→You don't have to answer my question!
例文①または②の後に、↑の文章を入れるとスムーズに聞こえます。
「答えてもらえると嬉しいけど」
→It would be great if you could answer my question, but...
例文①または②を"but"の後に繋げます。
色々な組み合わせや言い回しがありますが、こんな感じで十分に伝わると思います！
少しでもご参考になれば幸いです。
I'd be happy if you could answer, but it's totally fine if you don't.
「答えてくれると嬉しいけど答えなくても全然OK。」という表現は英語で "I'd be happy if you could answer, but it's totally fine if you don't." と言います。「I'd be happy if」は「〜してくれると嬉しいです」を意味し、「it's totally fine if」は「〜しなくても全然大丈夫です」を意味します。
ご希望の文に繋げる場合、次のように表現できます： "I'd be happy if you could answer, but it's totally fine if you don't. It wasn't a big question, so please don't worry about it." 「答えてくれると嬉しいけど、答えなくても全然大丈夫です。大した質問ではなかったので、気にしないでください。」
他の表現として： "Your help would be appreciated, but it's perfectly okay if you can't answer. It wasn't that important." 「答えていただければ嬉しいですが、答えられなくても完全に大丈夫です。大したことではありませんでした。」
日本 
アメリカ合衆国 
