おっしゃる通り、リユーザブルカップを一つ持っているのなら "a" がいります。例えば自分でマグカップを持っていってもいいような珈琲屋さんにコップを持ってきたような場合であれば、自分用に一つですから "a" をいれます。
"I brought a reusable cup."
もし一般的に家に持ってますよ、という話なら複数で "cups" にすればいいので、その場合は冠詞はいりません。
家でパーテイをするような場合、
"I have a lot of reusable cups that we can use."
「たくさんリユーザブルカップがあるからそれを使える。」
冠詞の話なのでついでに言うと、"the" がつくような場合は例えばこのカップは〜です、などと特定のものについて説明するような場合ですね。
"I like this reusable cup from Starbucks."
「私はこのスターバックスのリユーザブルカップが好きです。」
と実際にカップを持って言う場合です。