自分は切りません。
というか、Twitterの使い方自体がトピ主さんとは違うみたいですね。

フォローしてる人はかなり雑多で、本流TLも雑多です。
ただジャンルや推しごとにリスト分けしているので、リストの整理は定期的にしています。
リスト画面まで行かなくても、リスト検索でも出せますし、
フォローの絵だけ見たいと思ったらフィルター検索かけます。
また検索演算子を含めて、検索ワードは保存出来るので、便利に使っています。

例）
list:username/listname
→ 保存したリスト（特定ジャンル界隈）のツイートだけ表示

filter:images list:username/listname
→ 保存したリスト（特定ジャンル界隈）の画像だけ表示

filter:images list:username/listname (キャラ名 OR キャラ愛称)
→ 保存したリスト（特定ジャンル界隈）のキャラ名かキャラ愛称の画像だけ表示

filter:images list:username/listname -min_faves:10
→ 保存したリスト（特定ジャンル界隈）のいいね10以下の画像だけ表示

などなど。
アカウント単位でジャンルを固定せずに、
リスト単位でジャンル固定するようにしています。

就職して１年ほど絵を描いてなかったけど、また描き始めた人や
数年後しに疎遠だった相互フォロワーと別ジャンルの話題で盛り上がれたりもしますし、
引越し先で悩んだ時、仕事に疲れた時、他の趣味にハマった時、
思わぬ人から助言やリプライを貰うことがあります。
自分はそういう「つながり」は大事にしたいと思ってます。

と、本垢はそういう感じです。
あまりに大きいジャンル（例：東方とかFGOとか）ですと、
それ専用のアカウントも作って運用してます。
そういうアカウントであれば、自分もフォロー整理とかするのかも知れません。