I am afraid I won't be able to write you an invitation letter.
Oh no, I can't write you an invitation letter. Sorry.
I am sorry but I can't write you an invitation letter.
それはちょっと…、日本に来たいから招聘書を出してくれ、というのは本末転倒で、そもそも、こちらが国際会議か何かで来日してもらう必要があるから進んで発行するものであって、余計なお世話ですが、「ごめんなさい」は必要ないのでは、と思います。
I don't know you well. 「あなたのことを何も知りません」
知ったからって言って発行できるものでもないので…。
I can't help you with that. Sorry! 「手助けできません、ごめんね！」
日本 
