どっちでも良いと思いますよ！
私だったらめんどくさがりだしネット上の人間関係に興味がないので放置しますが、トピ主さんが気になるならフォローを外しても良いと思いますし、気にならないなら放置でも良いと思います。

相手のツイート内容が読みたかったら外さないですね〜。逆に別にいいなら外します。相互になった後も交流特にしてないのなら自由にしてもいいような気もします。

その人が気になる作品を投稿してるなら、そのまま。
特にそういうのがないのであれば外します。

相手からフォロー外されたのに何を迷うことがあるのか不思議です。
フォロワーの増減を監視してると思われたくないのであれば日をおいてリムーブしたらいいと思いますけどね。

トピ主です。皆様詳しくご回答をありがとうございます！まとめてのお礼失礼します。迷っていたので大変参考になりました。ありがとうございました！