日に日に減っていくフォロワーを見るのは辛いですよね、私も以前似たような経験をしました。
私は何度かジャンル移行を繰り返しています。AというジャンルからBというジャンルに期間を開けず以降すると（引っ越し無し）Aジャンル好きのフォロワーは何人か減りはしましたが、その分Bジャンル目当ての新規フォロワーが増えました。
逆にBジャンルの熱が冷めたとき、それ以降何にも興味が無く、絵も描かず日常ツイや中途半端にハマったばかりしているとフォロワーが徐々に減っていったのを覚えています。
私の場合、特に発言に影響力があるわけではなく絵ありきのフォロワーばかりだったので、そりゃ活動しないんだったら他人からの興味も失せるわなしょうがないよねって感じです。そういう時は、また創作活動始めたら戻ってくるでしょくらいのマインドでダラダラしてます。
それでも以降からは本垢と雑多垢に分けて活動するようにしています。日常ツイや別ジャンルなどは雑多垢で呟き、メインジャンルは本垢で呟くことで、本垢の更新が滞っても以前よりかはフォロワーが離れていく事は無くなりました。中には日常ツイも見たいという方もいるみたいですが、それ以外の人は日常ツイでTLを埋められると鬱陶しく思ったり、熱が冷めたと思われ離れていくみたいです。逆に雑多垢をフォローしてくれるということはジャンル問わず私の事好き（笑）なんだなと思えるので肩の力抜いてツイートできます。

あまり参考にならないとは思いますが垢分けめんどくさいけど私はやって良かったことの方が多かったです。