日本語のように親戚ではない人にも「おじいちゃん」や「おばあちゃん」という習慣は英語には(一般的には)ありません。"Grandpa"と言えば、その発言者の祖父のことだろう、と思われます。
そして、他人に対して"old ~"というのは、特に親しい関係ではなければ失礼だと思われる危険がかなりあると思います。
"I'm not exactly the youngest, but..."とは「私はもっと若い人間だとは正確にはいえないが...」という遠回りな言い方で「私は年を取っている」という意味を表せるフレーズです。