万フォロや四桁後半の方は明確な自分の武器を持っていると思います。
それは単純に画力であったり、手間を惜しまない交流力であったり面白いネタを呟ける発想力だったりします。
今のお悩みは「フォロワー数を気にしてしまう」との事ですが、それを細かく見ていくと
恐らくは「自分の絵に自信がない」「友達が居ないのが辛い」「発想力が無いのが悔しい」など
もっと深くにあるそもそもの問題が浮かび上がってくると思います。

自分もかつてフォロワー数という曖昧なものに悩んだ時期もありましたが、
「自分がやりたい事は画力を上げて推しカプの幸せを美しい漫画にすることだ」という
目的を洗い出せたので、今はひたすらに絵の勉強をして本を出す準備をしています。

あとできる事は、chromeの拡張機能でおだやかTwitterを使う事でしょうか。
フォロワー数などの数字を全て非表示にできますし、すごく快適ですよ。
気持ちも持ちようだけではどうにもできないなという場合、こういう機能に頼るのもありだと思います。

フォロワー数が多い方が良いというような感覚ももちろん分かりますが
二次創作は旬が過ぎれば人は減りますし、今一瞬の数字に振り回されてせっかくの推しカプを
楽しめなければ本末転倒だと思います。

自分の悩みをおおざっぱに括らないで、ひとつひとつ丁寧に向き合っていくと
対策が打てますので、焦りや不安なども少しずつ無くなっていくかもしれません。

何より、推しカプが好きな気持ちがあれば大体の事は大丈夫だと思います。
「推しが尊い」という最初のとっかかりが、結局のところ全てを解決してくれるはずです。

乗り越えたというか、納得できた感じなのですが書かせてもらいます。トピ主さんと似たような状態で今まで楽し気にしている４桁後半や万フォロワーの馬たちやアンソロに誘われまくってる人達を眺めてきました。今ジャンルに入った時一度その人たちの近くで創作をしてみようと決意しとにかく界隈で伸びる作品を研究したり交流や交渉術を学んで色々試してみました。今までは「どうせ自分は」と諦めて反応してくれるROMさんのためにみたいに無理やり納得させていましたが諦めきれずと言う感じです。
結論、数は少ないですが分不相応のアンソロに誘われたり馬たちともくりなどで仲良くできたりはできました。これは自慢とかじゃなく、綿密に練った計画だったので目標自体は達することができました。でも、その反動は返ってきました。叶った後の自分は全然幸せなんかじゃありませんでした。身の程知らずに我武者羅に馬に擦り寄った結果、という感じですね。今はそういった集団から離れて（揉めてはいません）Twitterから離れて好きな別ジャンルの作品にハマりつつ日常を楽しんでいます。創作は続ける気ですがこのジャンルではもう十分かなという感じです。いい意味で諦めがつきスッキリしています。ずっと悩んでいたのにTwitterのいいね全く気にならない状態です。

何が言いたいかというと、本当に叶えてみたいのであればチャレンジしてもいいと思います。このコメを見ている人からしたら失敗に終わっているようですが、やってみるだけやって良かったと思っています。人によっては叶えた後更に飛躍のチャンスをつかめる人も居ると思います。やらなければずっと羨んでばかりだったからです。やはり人に依存するよりも自分の力でその位置にいけるように力をつけようって思えるようになったし、人間関係を持続させる力が自分には無いと分かった事も非常に良かったです。こちらが必死で頑張らないと繋がれない状態なら、そういうものだと納得できました。

参考にならなかったらすみません。