ご質問者様がお書きになられた I'll read you a story. I'll read to you. はどちらもナチュラルな英語です。その他によく言うものを英訳例にあげさせていただきました。
また、ご質問者様はあえて避けられたのもしれませんが、「絵本」だから英語で picture book だろうと思って I'll read you a picture book. と言うときちんと意味は伝わりますが、ネイティヴはあまり言いません。
以上ですが、ご参考になりましたでしょうか。
Miss Readさんとおっちゃんぬさんがおっしゃるとおり、日常生活で「Picture book」という表現を使う機会は多くはありませんが、絵本と物語の2冊が手元にあってそのうちの絵本を読んであげるよ、みたいなときは「picture book」と言って問題ないはずなのでご紹介しました。お役に立てば幸いです。
日本 
