オンでしか活動していないジャンルは誰もフォローせず、繋がってないけど考え方がヤバいな…と思った人たちはミュートorブロック
普段はCP名で検索して気に入ったものを適当にイイネ＆RTしています。
日本人の作家さん達からは殆ど反応のないアカウントになってしまっていますが、海外の方も多いジャンルなので反応が無くてつらい…という事はないです。
(見ている感じ面倒な方が多いCPなので意図して日本人作家さんとは交流しないようにしています)

オフでも活動しているジャンルは、オフでお話して気が合うなと思った方だけフォローしています。
それでも無関係なRTが多すぎる方はRTを非表示、ツイートが多すぎてTLが埋まったり愚痴が多い方はミュートでたまにメディア欄だけ確認、という形です。

トピ主さんと大して変わらないです。
受動的なツールで快適に過ごそうと思うと、ちょい面倒ですが受動性を制限して自分で動くしかないですよね。

新しいジャンルで誰かお話が出来るひとが欲しい！と思っても、寂しさに負けず気になった人をまずはリストに入れて暫く（３ヶ月〜１年）ツイートの様子を見るようにしています。
いっときの気持ちの盛り上がりで勢いよくフォローしては後悔……というトピ主さんと似たような状況に何度も何度も悔しい思いをしてきたからです。
またリストに入れているときから、作品やツイートへのいいねやRT後の空リプはちょこちょこするようにしています。
特に誰のいいねもRTもついていない妄想（且つ自分の好みでもある）ツイートなんかはブクマして、事ある毎に「この方のこの妄想ツイートが大好き」とRTからの空リプをしたりします。
そうすることで、いざフォローをするぞ！となったときにフォロバしてもらえる確率が高くなる（ような気がする）からです。

それからブロックやミュートのことを「相手に申し訳ないな」ではなく「自分のタイムラインを快適にする手段」として捉えるようにしています。
現在フォロワーの半分ほどをミュートしていますが（ネタバレ回避や情報の整理の為が殆どです）、ミュートしたフォロワーをジャンル毎にリスト管理もしているので、タイムラインは常に快適ですね。

少しでも参考になれば幸いです。

お気持ち分かります…！！
私は苦手な人をミュートするのではなく、フォロー中から普段のツイートも全部見たい人をリスト管理して基本的にそこを自分のタイムラインという扱いにしてます。
ミュートすると何かあった時の解除やわざわざメディア覗きに行くのが面倒な時があったり最悪ミュートを勘づかれる可能性があるので。
あとはつ○ーちゃだと簡単に出来ると思うんですけど、通常のTLに画像のみ表示の検索フィルターをかけてしまえばいつでも気軽に作品は見れますし、嫌なツイート(文字のみのツイート)は避けられるかと思います！
ミュートはしてないので罪悪感もないですしオススメです！

でも相互リンクページと思って見たい時に行くのもとても素敵ですね。
昔はそうでしたもんねー。巡回スタイルも良いと思います！！