カップリング小説なんだから全然いいと思う
他人から見れば乱暴な仕草に見えるけど本人だけはその手に優しさを感じた、ってエモくて好き
ただ撫でられた人物（この場合はB？）視点の文章として書かれてないと違和感は感じるかも
気になるようならどうして優しく感じたのか、という部分を詳しく書いて説得力を持たせれば良いんじゃないでしょうか

真逆の意味を一文に…だと、自分は温度をよく使う気がします
ありがとうという温かいはずの言葉がやけに冷たく感じたとか、普段は冷たく見える攻めの瞳が熱を帯びていたとか

形容矛盾は文章を印象的にする手法として存在してますし、別に気にしなくてもいいんじゃないかな？と個人的には思います。私もよく使います。
「乱暴だけど優しかった」に混乱するのは、事実と印象が1:1で混ざってしまっているからかもしれません。乱暴な手つきとはどういう風なのか、BはAの手つきにどういった優しさを感じたのか、それぞれもう少し詳しく書くと「乱暴なの優しいのどっちなの！？」という混乱が起こりにくくなる気がします。
(例えば「乱暴に頭をかき混ぜられたのに、Bはその手に何か柔らかい感情が込められているような気がした。」みたいな)

オクシモロンと言って、そういう表現ってある！大丈夫！
でも自分が気になるなら分解するといいかも
乱暴→手つき、動作　優しい→心　を意識して分けてみる
あとは優しさを連想するものを入れてみるとか、されたほうの感情を入れてみるとか……以下参考になれば幸いです！
•乱暴な手つきだったが、その動作にも〇〇の優しさは滲んでいた
•手つきこそ乱暴だが、大きく温かな手に俺は安心した
•乱暴に頭を撫でられる。粗野な手つきに髪が乱れるが、それすらも嬉しかった

自分も最近そういった表現使いました。変ではないですがありふれたとも言える表現なので、もしテンプレでその言葉を置いたならご自分の中で納得がいってなくて違和感が生じたのかもと想像しました。
トピ主さんがAの乱暴さをどんな方向性で表現したいか、自分の中で意味づけがあれば同じ乱暴という単語をおいても変に思わないんじゃないかなと思います。
例えば乱暴さに不器用、ぶっきらぼう、素直になれない、他人に対して丁寧に扱う環境下になかった、のどれを意味づけるかでAの人となりが変わってくるかなと思います。

全然あり！！！
そもそも「全然」は無いことが前提として使う言葉だけど、もう殆どの人が「全然大丈夫」とか言われても違和感感じないじゃないですか。違和感感じるが嫌いな表現の人もいるけど私は全然気にしません。
表現に正解とか無いので！！
ただ、「なんとなくこの表現イヤだな」と思った時はブラッシュアップの良い機会ですよ。どうしたら違和感が消えるのか考え続けることで文章表現に磨きがかかると思います。
乱暴と優しいの類語を調べるのも良いですよ。
出てきた類語で組み合わせると『がさつな仕草の中に柔らかな温もりを感じた』とかになります。

全然いいと思います！！！！
コメントでみなさんがいろいろ素敵な提案されてますけど、自分的にはトピ主さんの「その手は乱暴だけど優しかった」そのままが特に好きです。潔いくらいにさっぱりしているおかげで、読んでいる最中理解のストレスにならなくていいな～と思いました。
ラストとかキメ所で使うならコメしてる方のものみたいに装飾したほうが見栄えしそうです。
全然いいと思います！！！！！

みなさま、沢山のコメントとアドバイスありがとうございます！！全て大切に読ませていただいてます。こういう方法があるよ、と優しくそしてなんといってもめちゃくちゃ分かりやすく教えてもらえてすごく嬉しかったです。
逆に、そのままでもいいと思うよというコメントも頂けて無理に変える必要はないという選択肢があることもわかりました。
順番に一人一人お返事させていただきます！すぐに感謝の気持ちを伝えたかったのでまずはこちらにまとめてのお返事で失礼します。