わりとあるあるだと思います。
私自身も経験がありますし、知人から聞いた話だと「ジャンル全体で素行の悪い人が多すぎて、ジャンルごと嫌いになった」というのもありました。

解決できていないので、アドバイスができなくて申し訳ないのですが、私もマイナス発言には気を付けてます。「○○が好き！」と聞いたら明るく「そうですかー！」とだけ答えて、余計なことを言わないようにしています。（つい本音が漏れないように）
原因になった人と疎遠になって何年も経つのに、キャラへの気持ちのひっかかりはなぜか消えません。
かえってキャラ自体が嫌いなほうが、ストーリー次第で好きになれることもあるような気がして、なかなか根深い問題だなと感じています。

あるあるだと思います。自分も似た経験がありますし、それぞれ別な友人と話していても、ときどきそういった(苦手な人たちのせいでキャラやカプ、ジャンルごと苦手になってしまった)話題になることがありました。
一般に「ハロー効果」といわれている、人間誰もが持っている心理なのではないでしょうか。
そうでなくても人間の脳は、ひとつの出来事にさまざまな記憶を結びつけて思い出せる構造になっているので…
一度嫌な思い出に紐付けられてしまったものは、なかなか切り離して考えるのは難しいと思います。

自分もこの現象にかなり悩んでいるので、良いアドバイスができずすみません…
原作のキャラは好きでも、二次創作は見ないようにミュートなどでシャットアウトしています。好きな作家さんや、友人の二次創作でしたらまだ大丈夫なのですが…
見たくもない！というキャラやカプでない場合は「自分の中ではこういう人物像・解釈だな」と思う二次創作を描いたりします。うまく言えないのですが、自分で描くと印象を上書きできるというか強められるというか、(そうそう、これだよね…)と納得？できるので…