ありますねー！
長い人生、いろいろな作品を読んできましたが同じような経験は結構あります。

・キャラの特徴が際立ちすぎて、ストーリーに活かせていない、もしくは馴染めていない
・ストーリーそのものが薄い
・そのキャラが主軸のストーリーに対してどの立ち位置にいるのか、主人公なのかもしくは遠い位置にいるのか

などいろいろな要因で起こります。
もともと好きなキャラを見つけて作品にのめり込む傾向がある自分ですが、ストーリーがキャラを魅力的にするというよりはキャラよりストーリーに魅力が感じられないとなりやすいのかな…(ありきたりな展開など)。
そして罪悪感もとてもわかります…！
なので突然切ったりせず、そのキャラの出ていない話もしっかり読んで、ネットで解説とか考察とかも読んだりします。
それでもキャラ以外に魅力が感じられなければ相性が悪かったということにして割り切っています…。

今のメインジャンルがその状態です。これ以上ないくらいドツボなキャラクターが登場するんですが、ストーリーは結構ツッコミどころがあるというか…、話が面白い！と思って愛好している作品ではないなと思っています。（もともと物語＜キャラ売りのコンテンツというのもありますが）
両方ガッツリはまれることは幸せですが、こればかりは好みですからね…。
逆に、話が面白くて大好きだけど特に推しキャラはいないという作品もあります。
そして、罪悪感も分ります。キャラだけ都合よく頂いてしまっているような感覚と言いますか…。キャラに対しての熱意と違って少し冷静な目で見てしまうんですよね。
好きなキャラを生み出してくれた感謝で、キャラが退場しでもストーリー・コンテンツは最後まで追うつもりではいますが、そうなったら申し訳ないですが熱は下がるだろうなと思います。