She/He finally started walking. または started to walk.
彼女/彼はついに歩き始めました。
start 〜ing = 〜始めた
start to 〜
言い方や文脈にもよるのですが、finally は待って待ってようやくだよ…(若干遅いと思っている)感じもします。
歩き始めた喜びをもっと表現したいのであれば、例えば
My baby started to walk. I've waited for this for so long!
私の赤ちゃんが歩き始めたの。ずっとこれを待っていたのよ!
もオススメです。