2つ表現をご紹介しましたが、少し意味が違います。
・lose the tread of what I am saying
thread は「糸」ですが、SNSの「スレ(ッド)」のような使い方もあります。
lose the thread は「話の脈絡がなくなる」と言った意味になり、今回のケースでは自分の言っている内容について言うので of what I am saying と続けました。
・talk in a patchwork fashion
これは比喩的に、「パッチワーク」(つぎはぎ)のように話す、という言い方です。
この場合は、脈絡がないことにも使えますが、英語自体がバラバラになってしまっている感じも表せるのではないかと思います。