この場合は
Sorry, my voice was too weak.
ごめんなさい、私の声が弱すぎました。
が一番誤解がないように思います。
基本的に声は small big とは言いません。音量を上げる、下げるという意味で
Please lower your voice.
声(の音量)を下げてください。
Speak up!
もっと大きな声で話して!
というような表現が多いので、Sorry, my voice was too low. も通じると思うのですが、一応「低音」という場合も考えられますので weak にしておくのが無難だと思います。
自分の声の場合はあまり言わないですが、相手に Your voice is too soft. 「あなたの声は優しすぎるよ(もっと強くはっきり言って)」という表現もあります。