①Don't worry, it's no big deal!
「大丈夫よ、大した事じゃないから!」
②No worries, it's not that important!
「気にしないで、そんなに重要なことじゃないから!」
Don't worryとNo worriesは「心配しないで」「気にしないで」という意味のフレーズです。
「答えをもらわなくても全然大丈夫。」
→You don't have to answer my question!
例文①または②の後に、↑の文章を入れるとスムーズに聞こえます。
「答えてもらえると嬉しいけど」
→It would be great if you could answer my question, but...
例文①または②を"but"の後に繋げます。
色々な組み合わせや言い回しがありますが、こんな感じで十分に伝わると思います!
少しでもご参考になれば幸いです。