ご質問ありがとうございます。
「I’m at a little loss for an answer.」はほとんどいいです。
もちろん、「少し」は一般的に「a little」や「a little bit」と言いますが、この決まり文句に順番が大事です。
この場合では、「a little」は「at」の後ではなく、「at」の前にきます。そうすれば、文法的になります。
ご参考になれば幸いです。
ーI'm at a loss for an answer.
「答えに詰まる」
to be at a loss for ... で「…につまる」
ーThe answer is not coming to me right now.
「答えが今出てこない」
to come には「考えなどが現れる」
ご参考まで！
アメリカ合衆国 
カナダ 
