私もトピ主さんと同じような悩みを抱えていました。今もまだフォロワー数や反応を完全に気にしないというのは無理なので、自分の可能な範囲で気持ちを切り替えています。
まず、フォロワーに対する自分の認識を改めました。前はフォロワー＝ファン数だという思いが強く、多い方がより優れていると考えている自分に気付きました。
しかし、フォロワーとは全てがファンではなく、友人、リアル知人、流し見層もいれば、そのアカウントの取り扱うジャンルやキャラやカプや作品形態でも変わってきます。
同じジャンルで同じカプを描いているからといって、フォロワーが多い方が優れているとは限らないのです。
中にはフォロワーが多い＝凄い、神、と考える人たちもいるかと思いますが、そういう価値観の人たちより、トピ主さん自身の人柄や作品を好きだと思ってくれる人たちのことを強く考えてみてください。
1人でもいたら本当に凄いことです。

また、フォロワーがたくさんいたとしても、結局自分以上に自分のことを考えて、大切に思える人はいません。
こう考えると、結局は他人のフォロワーより、自分で自分を幸せにできる方向に気持ちが向いていきます。

もしそれでも数字を気にしてしまうということでしたら、数字の出ないTwitterクライアントを使うのをお勧めします。

フォロワー多いと認められている、偉いみたいな考え方がトピ主さんにあるのかな？と。
支部のほうで評価あるならきっと実力はある方なので気にしなければ……と思うのですが、
やはり数字が気になってしまう気持ちもわかります。
しかし長年使っている、複数ジャンル掛け持ち、大手と繋がっていて拡散されがち、
旬ジャンルに初動から居てブースト、単に繋がりタグ等の多用等、実力外でフォロワー多い人なんていくらでもいます。
数字に固執するとフォロワー増えても今度は減ることが怖くなると思います。
それより原稿という一番大事な自分の作品に向き合いましょう。気になってしまうのはわかるのですが、
一度Twitterログアウトするのも手ですよ。