Every day I pray to my grandfather at our household altar.
西洋人にとってはちょっと変な感じがします。「お爺様は神様ではないでしょう?祖父に祈るではなく、祖父のために祈るでしょう。」と言わないでしょうが、確かにそう思います。仏教的に祖父に祈りますが、そういう説明を言いたくないなら、「to」のかわりに「for」(pray for my grandfather)にした方がいいかもしれません。
他の例文
「Every day, I honor my grandfather at our household altar」
(毎日、家の仏壇の前で祖父を敬っています)