I'm very sorry but I can't reply to your feelings.
気持ち = feelings
答える = to answer → 答えられない = can't answer
こういうシチュエーションは難しいですね。相手に柔らかく返事したかったら、I'm sorry, but から start した方がいいですね。最初から謝まったらいいと思います。
「答える」は、もちろん answer という意味ですが、この場合では、reply でもよく使います。
明らかに、相手があなたのことを好きだったら、こういう感じで断ってもいいと思います。ですが、一回か二回目の誘いの断りだったら、I'm sorry, but I have other plans (ごめんなさい。予定があります。). I'm sorry, but I'm going to meet a friend tonight (ごめんなさい。今夜は友達に会いに行く予定です。)など。二回以上だったら、I can't answer to your feelings. や I'm very sorry but I can't reply to your feelings. を使った方がいいかもしれません。
Thank you. I appreciate your invitation, but I'm afraid I can't make it.
Thank you, but I would be happy if we could stay friends.
ご質問ありがとうございます。
これは食事などの誘いを断る場合です：
① "Thank you. I appreciate your invitation, but I'm afraid I can't make it."＝「ありがとうございます。お誘いして頂いて嬉しいです。でも残念ながらご一緒できません。」
これはお付き合いをしたい、と言われて断る場合です：
② "Thank you, but I would be happy if we could stay friends."＝「ありがとうございます、でも私たちは友達でいられれば嬉しいです。」
ご参考になると幸いです。
アメリカ合衆国 
