「物心がついた時から」というのは「記憶に残ってる時からずっと、覚えている範囲内ではずっと」ということですよね。最初の2つはそのニュアンスに近いと思います。
でも会話では伝わればオッケーなので、もっとシンプルでもいいと思います。
例えば、
"Since when have you had hay fever?" いつから花粉症なんですか?
"Oh, I don't even remember. Since I was little." えー、覚えてないなあ。小さい頃からだよ。
remember の前に even を付けることで強調されるので、「覚えてないくらい小さいときから」というニュアンスになります。
"As long as I can remember"は「覚えている限り」という意味合いです。
基本的には「記憶のある限り」となりますが本当に小さい頃であるということを強調したい場合はどういった時期か指定するのが良いでしょう。"Before I could read and write"と「読み書きできる前」と指定すれば確実に年齢の範囲を想像してもらえる表現になります。