I totally would have been there if I didn’t have work.
「If only ~」は「~ならいいなあ」や「~ならよかったなあ」と言う意味なので、「If only I wasn’t working」 は「仕事がなければよかったなあ」と言う意味です。
「I have work」は「I have a job」と似ているように見えますが、意味はちょっと違います。「I have a job」は「~として働いている」、つまり「無職ではない」と言う意味です。しかし、「I have work」は「仕事がある」または「やらなきゃいけないことがある」と言う意味です。遊ぶか遊ばないかと言う話では「仕事があるから行けない」と言う感じとなります。
もし〜やれた。 = If.... could have..
もし仕事がなければ行けた = If I didn't have work, I could have come.
If it weren't for work I could have come = 仕事のせいで無ければ行けた
又、「また今度誘って!」と言いたい時は "Let me know next time!" か、 "Let's go another time!" (また今度行こう!)