ここはシンプルに無難な感じで
I like it. 「私はそれが好きです」＝「いいんじゃない」
がいいのではないでしょうか。
It looks good on you.
は「それはあなたに似合ってます」という表現です。
英語では空気でにおわさず、ズバリ言葉で伝えたほうが
良いので、この事で「帰りたい」を伝えようとするよりは
上のセリフのあと、
I'm sorry but I'm a little tired. I think I have to go home and get some sleep.
と素直に自分の状況や気持ちを伝えたほうがコミュニケーションとして
ベターです。
「軽く流す感じ」でも「失礼がないよう」な表現ですね。。。
「この服似合うかな？」の回答に"I guess so..." と言えば関心の無さを表しますので、私ならここは普通に
Yes, I like it.
I think it looks good on you.
などと言うと思います。
もしくはこんな文章はどうですか？
Despite how tired I am, you still look perfect to me.
今すっごく疲れてるけど、私にとってはカンペキに見えるよ。
I’m sorry, but I’m too tired to think.
ごめんね、疲れ過ぎてて今あまり考えられない。
自分が疲れていることを相手に伝えるのは決して失礼なことではありませんよ。
似合うは become や suit を使えます。サイズには fit を使い、「物（例：ネクタイ）が物（例：シャツ）に合う」時は match や go with が使えます。適当なのに失礼じゃない表現と言うところが微妙ですね。自分はつい yeah, looks alright, no matter what.. （いいよいいよ、なんでもいいんちゃう？）みたいに本音が出てしまいます。
日本 
