同じく一次創作を書いている身として考えてみました。
もし的外れだったらすみませんが、何か一つでもピンとくる部分があれば嬉しいです。

主人公サイドのキャラが無難になりがちなのは、
「味方側は優しくあるべき」という世界を、無意識に作ってしまっているからだと思います。
でも実際、主人公が一番傷つくのって、敵より味方の失言や判断ミスだったりしますよね。
そしてそこが物語的には成長ポイントになることも多い。

なので欠点や癖は、
「ここまでやって引かれないかな」と抑えるものではなく、
物語全体の伸び代だと考えてみるのはどうでしょう。

実際に癖のあるキャラを作る時は、
あえてそのキャラに失言・失態をさせてみるのがおすすめです。
一度「これはやりすぎかも？」くらいまで振り切る。
大事なのはその後で、
「なぜこのキャラはそう言った／そう動いたのか」
を感情レベルで掘り下げることだと思います。
悪い言動そのものより、行動原理が分かると一気に人間味が出ます。

それでも「どうしてもこのキャラはやらない」と感じるなら、
それは欠点ではなく、そのキャラの核なのかもしれません。
無理に壊さず、
「もっと幼かったら？」「もっと追い詰められていたら？」
など条件を変えて考えると、尖った面が見えやすくなると思います。

あと「嫌なやつだけど実は優しい」が普通に優しくなるのは、
優しさを行動や言葉で足しすぎていることが多い気がします。
全部救わなくても、全部言わなくても、
それでも見捨てない、くらいの歪さで十分だと思います。
現実でも、悩みを全部解決してくれる魔法の言葉や都合のいい人はいませんし、
Aはここまで救える、Bは別の部分を補える、くらいでいい。
救われない部分は、本人が考えて成長する余白にしてもいいんじゃないでしょうか。

長々とすみません。少しでも参考になる箇所があったら嬉しいです。

好き嫌いのある作風だとは思うんだけど、アイナ◯の脚本家がすげーーーー性格アレなのになんか魅力。ってキャラを描くの上手いのよ。
まほ◯くでもネヴァ◯スタでもいいから、読んでみたら参考になるかも。
魅力もあるけど欠点もある、じゃなくて、欠点がそのまま魅力なんだよね。見る角度で人ってこんな風に変わるんだなって言うか。

自分も別に創作上手くないから、この例え方は的を得ていないかもしれないけど、すごい暴言があったとして、その暴言が「そりゃこの性格でこのバックボーンであのシーンなら、あの暴言出ちゃうわ」って納得できた時に愛着みたいなものが生まれる気がしてる。
暴言のラインを下げていい子にするんじゃなくて、その暴言が出てもおかしくないラインまで環境を整える。
そうすると「分かってる」読者にとって「誤解されがちだけど、こいつの良さは自分だけが分かってる」「こいつは確かにクズな発言をするけど、それを自分は理解してる」みたいな位置に落ち着いて、愛されやすいところあると思うんだ〜

読者目線で「なんだこいつ」とキャラが嫌われてしまうのを防ごうとしてマイルドになってしまうということですかね？
先に作中のキャラに「なんだこいつ」と言わせて、作者もわかってますよ敢えてですよと読者に伝えてみるのはどうでしょうか。
キャラAが傍若無人に振る舞うまま味方にいたらそれが合わない読者はストレスになるかもしれないですが、
例えばキャラBに「なんでこんな嫌なやつと行動しないといけないんだ」と言わせて、主人公あたりがこういう理由があって…と説明することで読者はキャラBに代弁してもらって溜飲が下がるかもしれません。
自分も世間から受け入れられにくい属性のキャラが好きで同じように悩んでこの手法(下記のURL)を知った時目から鱗だったので参考までに貼っておきます。
https://mond.how/ja/topics/sf50hxhrkrz9hz7/ntf2bx6pgc3t223