日本語のように親戚ではない人にも「おじいちゃん」や「おばあちゃん」という習慣は英語には（一般的には）ありません。"Grandpa"と言えば、その発言者の祖父のことだろう、と思われます。
そして、他人に対して"old ~"というのは、特に親しい関係ではなければ失礼だと思われる危険がかなりあると思います。
"I'm not exactly the youngest, but..."とは「私はもっと若い人間だとは正確にはいえないが...」という遠回りな言い方で「私は年を取っている」という意味を表せるフレーズです。
I'm quite old, but I'm in pretty good health still.
この場合、次のような言い方ができますよ。
ーThere was a nice older gentleman there.
「あそこに素敵なおじいさんがいた」
ーI'm quite old, but I'm in pretty good health still.
「もういいおじいちゃん/おばあちゃんだけど、まだまだ元気だよ」
「おばあちゃんが貸してあげる！」と言う時は、主語 I を使って言うのが自然かと思います。
ご参考まで！
アメリカ合衆国 
カナダ 
