表現自体よりも、言い方やコンテクストによって質問者様の望む対応を得られるかどうかが変わってくると思います。考え込む姿勢を見せ、さも何かを思い出そうとしている風に"not A... not B..."とつぶやいていけば、おのずと相手は「きっとAやBに近い単語を思い出そうとしているのだろう」と気づいてくれて、助け舟を出してくれるでしょう。
また、正式な表現というほどのものではありませんが日本語で言うところの「えーと」などの隙間言葉に相当する英語が"um"です。意図して使うような言葉ではありませんが、会話の間に挟んでいけば、自然と悩んでいる様子は伝わるでしょう。
ちなみに、一通り候補を言った後に、
"what was that word?"
→「なんていうんだっけ?」
と素直に聞いてしまうのもアリです。
not A, not B, it's something like C...
Aじゃなくて、Bでもなくて、Cみたいな・・・
something like:〜のようなもの(ここでは単語のこと)
複数の選択肢などを列挙する場合は、"and"などは付けず、
そのまま並べていけばオッケーですよ!
ただし、最後の選択肢を強調する場合は"A, B, C and D"のようにするのが一般的です。