私はフォロワー数3桁で全然大手ではないのですが交流していなくても同じ描き手ならフォローされたことも外されたこともわかりますね。私は固定なのでフォロバはほとんどしないタイプで、あくまで私の感覚なのですが、交流してなくても知ってる描き手さんからフォローされたときはやはり嬉しさもありますし、フォロー外されたら何か嫌な気分にさせてしまったのかな？と思ってしまいます。イベントで顔を合わせたときも複雑な気持ちにはなると思います。
ですが、フォロー、リム、ブロックなどは個人の自由ですしましてや交流したことのない人ですので、トピ主さんが「面倒くさいナルシスト」という理由で裏で悪口言われる筋合いはないと思います。そもそもフォロバされていないわけですし。

私もわりと何も考えずにSNSを使っているタイプなので、もしかしたら参考にはならないかもしれませんが……。
大丈夫ですよ！
世の中、そんなに悪く取る人ばっかりじゃないです。まったくの無根拠ですが、私はそう信じています。
もしかしたら、中には「あれ？」ってモヤモヤを抱えてる人もいるかもしれません。
でもトピ主さんもご自分でおっしゃってるように、そういう相手の感情はトピ主さんにはコントロール不可能なことです。そもそも意地悪や攻撃としてフォロー外したわけじゃないんだし、だったらもうそれだけで充分ですって。
悪口言われちゃったとしても、そういう人はトピ主さんの人生には入ってこられないし、関係ない人なんだし、「わー、ごめんね～」でおしまい。それを引きずるような人とは最初から合わないだろうし、もう「ご縁がなかった」ってやつです。それでおしまい。
それから、イベントで会うときの気まずさを心配されてますが、むしろリアルでお会いしてお話ししたときに、トピ主さんが明るく優しくニコニコしててくれれば、万が一相手がモヤモヤしてたとしても、そんなモヤモヤは吹っ飛んじゃうと思うんですよね。
SNSは言葉でなんとでも取り繕えてしまいますが、リアルの印象のほうはそうはいきませんし。
だから安心して、むしろそんな杞憂はさっぱり忘れて、堂々としているほうが絶対にお得です。
大丈夫、大丈夫！