全然違うジャンルのものですが、やはりレイヤー兼字書きの方が同じような本を出しているのを見たことがあります。
その方の場合、自分が表紙の本とデザイン表紙の二種類を出していたので、私はデザイン表紙の方を買いました。
その方にしてみれば、自分のイメージを的確に表現できると思っているのがコスプレ写真なんでしょうね。。。

ただ、小説本の場合、デザイン表紙だったり、ご本人がイラストを描かれていることもありますが、知り合いの絵師さんに表紙を描いてもらったものの、その人の小説とイメージが合っていないこともあるかと思います。
あくまでも私の場合ですが、表紙がどんなのであれその人の小説を読みたいのであれば買う（カバーをかけて表紙は見えなくする）、コスプレを表紙に使うような人の本を読みたくないのであれば買わないです。

どちらにせよ、トピ主さんが後悔しない選択となりますように。

自分のジャンルにもレイヤー兼字書きさんがいて、表紙にコスプレ写真を使用している小説同人誌は見たことがあります。購入したことはなく、お品書きで見ただけなのですが。その方はコスプレ写真集も出されていたので、確かにぱっと見で小説なのか写真集なのか、わかりづらいなとは感じました。

コスプレ表紙の同人誌に抵抗があるというのは、わかる気がします。18禁BLだと特に、ファンタジーとして読みたいので、3次元の人物写真によって現実感が出てしまい、罪悪感や背徳感を強く感じるのかもしれません。
感じ方の度合いは人それぞれなので、周りと比べずに、ご自分の感じ方を優先したほうがいいです。気持ち的に抵抗があるなら無理せずに、購入は見送っていいと思います。