私のいる沼はまだ賑わいを見せてるんですが、それでも全盛期の凄まじさに比べたらけっこう落ち着いてきた感ある……という感じです（一応、原作初期から見守り続けてきた古参ってやつです）
今はツイッターで、良かれ悪かれ人の心情の動きがダイレクトに分かるので、主さんの悩みは「他人が見えすぎる」がゆえの弊害と言えそうですね。

私は人がほとんどいなくなっても、多分変わらず本を出してると思います。売れなくなったら部数しぼって、状況に合わせていこうと思ってます。複数のジャンルにハマれるタイプでないのと、今のジャンルがかつてないくらいに大ハマりしてしまってるので……きっと、今のジャンル去るのは同人辞める時ですね。

ジャンルの衰退で人が離れていって寂しくて仕方ない……ということですが、私の場合普段からオンではあまり他人と交流してません。もちろん大好きなジャンルなので、どんな人がどんな作品を出してて、誰がどんな発言をしてるとかいうのは把握してます。でも、去る者追わずです。
私はたった一人でも創作活動が好きなのでそういうの苦にならないです。まあ、割り切りでしょうかねえ……あまり気の利いたこと言えなくてすいません。

賑やかな界隈ばかり見てるからそういう気持ちになってしまうんじゃないでしょうか……あまりフォローにならないかもしれないんですが、どマイナー沼の住人を検索して観察してみたらいかがですか？たった一人でもこんなマイペースに楽しんでる人もいるんだなあと思えれば、まだ気持ちも楽になってくるんじゃないでしょうか。まあ、本当に孤独を心から楽しんでる人はツイッターそのものをしてないかもしれませんけどね……

作品への愛があるのに、やめてしまうなんてもったいないと思いますよ。
ちょっと休んでみるっていう感じで、息抜きするか同人活動の取り組み方を見つめ直してみてもいいんじゃないでしょうか。そんな寂しいこと言わないで、好きなことは続けて欲しいです。

まさに今私も同じ状況なので、どうしようもなく寂しいと思うお気持ちわかります！
元々一次にずっといて、二次は今いるジャンルが初めて。すごく楽しかったのですが、ここ二、三ヶ月で他ジャンルに流れてしまう人が増えています。支部の閲覧数も全体的にかなり減ってきていて、寂しい限りです。
という私もいっときの熱が落ち着き、前ほど書くペースが落ちているので人のこと言えませんが...他カプにハマるのはゼロであるのと、他ジャンルに移行する気もないので、一次に戻ろうかなとも思っています。一次は二次よりも読んでもらえるハードルは高いですが、衰退がないのがいいところですね。書くのはやめたくないし、やっぱり楽しいので...。
自分の活動を、衰退に引きずられるのは勿体ない気がします。頭を冷やしても自カプの妄想が出てこなくなってきたらやめ時かなと思いますが、一次用のTwitter垢や創作垢を持って並行で動くのもアリだと思いますよ。