He totally could have refused, but he's a real loser.
Of course he should have said "no", but he's a wimp.
He's so unsure of himself that he couldn't say no.
「wimp」はすごく弱い人で、普通は男です。体力のことより、社会的に全然自己主張の弱い人です。形容詞でも使えて、普通は「out」と一緒に:
He didn't want to buy insurance, but when she asked him, he immediately wimped out.
彼は保険を買いたくなかったのに、聞かれたら、すぐに折れちゃった。
「to be sure of yourself」とは「自信がある」という意味で、上記の例文では「unsure」にしたので、「自信がない」という意味になりました。