話の内容が異なるので完全に比較にはなりませんが、両方出した体感として出る数は大して変わりません

フェイクありですが
①A5、40p、500円、コメディ、特殊紙表紙ppあり
②A6、120p、700円、書き下ろしシリアスR18、コート紙カバーppあり
③A6、220p、1200円、書き下ろしありweb再録全年齢、特殊紙カバーppなし
で②>①>③でした

ただ、これは私がA6の値段設定を極力A5文字換算に近づける努力をした結果もあると思います
(全て完売してますし赤字ではありません)

個人の意見としては、A5だろうが文庫だろうが作り手が好きに作って好きに売ればいい、そこに優劣はないと思ってます
買い手も買いたければ買うし嫌なら買わない、好きに買えばいいですよ

トピ主です。まとめての返信で失礼します。
文庫＞A5の方、A5＞文庫の方、どちらのご意見も経験談も大変興味深く読ませて頂きました。
見えてきたのは、
・ROM、買い専が多いジャンルではA5の方が売れやすい
・文庫の値段をA5に合わせられるサークルさんは文庫の方が売れやすい
という傾向にあるのではないか、ということです。
（あくまで私の見方で、こうではないか？という予想です）

自ジャンルは覇権ジャンルではなく二～三番手の流行ジャンルで、年齢層高め、小説強めです。
無交流なので自サークルの買い手はROM、買い専が多くを占めていそうです。

値段についてはジャンルの相場を調べてそれに合わせています。
文庫はページ数×7～10が相場でした。
250pのカバー付き文庫を出した際はキリよく×8で2000円にしました。
A5の場合は50p/500円、100p/1000円、150p/1500円というA5同人のオーソドックスな形です。
中でも最も手に取られやすいのが100p/1000円の本です。

250pの文庫を1200円で出すことは可能でしたが、そうするとジャンルの相場を大きく逸脱してしまうため相場に合わせる方に決めました。
その分ノベルティを付けて調整しましたが、やはり部数はA5より落ちました。

A5と文庫で値付けを変えないという方は、ジャンルの相場も同じような感じなのでしょうか？
そのくらいの相場となると、小説も多めに部数が出る覇権ジャンルや覇権カプなのかな？と想像しましたがどうでしょうか。

まだまだA5と文庫両方出したことがある方のご意見や経験談聞きたいので、この後もどうぞお話お聞かせください。

私は文庫が主ですのでコメする資格がないかと思っていたので控えていたのですが、値段設定で気になる点があったので書き込ませていただきます。
トピ主さんのジャンルでの文庫相場の高さに驚きました。250p（カバー付き。表紙・カバー共にフルカラー）なら1300円でトントンと思います。実際、私は通販onlyでその値段で出してます。30部程度の弱小で、梱包費や手数料込みで考えると、全部売れても多少赤が出るくらいですが、同人誌で稼ぐつもりのない自己満足なので不満は感じていません。私は両刀で表紙や挿絵の印刷にもこだわっているので、多少印刷費がかさみますが、文字だけならもっと安く抑えられると思います。
ジャンル自体が小さく私が文庫で出した最初の人間だったので、ジャンル相場は分かりません。私の後に文庫が何冊か出ましたが、本気で同人誌の値段に興味が無く値段を覚えてないので、他の方の相場は分かりません。私が壁打ちというのもあるでしょうが、値段について「安すぎる」という苦情は受けたこともありません。
値段設定はジャンルの相場とのことなのでトピ主さんの責任ではないのですが、実際の印刷相場を知っている身からすると200～300部でその値段は「儲けたい値段設定だな」というのが第一印象です。
もちろん、トピ主様はA5で適正価格で出しているのと、部数は不明かつジャンル相場がありますし、印刷所によってはそれでトントンになる場合もありますので、トピ主さんが儲け主義だと誤解されていることはないと思います。純粋に部数と文庫の値段だけ見たら、です。つまり、ジャンルの相場を決めた最初の人が儲け主義だったか無知だった可能性がある、ということです。
小説は漫画のように一ドット単位での印刷の美しさというのは要求されません。R18特有のチェックもありません。文字が読める解像度があれば充分で、その観点で探せばいくらでも安い印刷所がありますし、そういう印刷所は小説に特化していて紙も文庫用の薄いものが選べることが多いです。なるべく安く読者に届けたいと努力している書き手側は、250p2000円という値段を見れば（ジャンル相場という同調圧力は知っていても）不快感を感じて当然でしょうし、内情を知らない読み専で強い拘りのない人なら、値段差が大きければ安い方を買って当然と思います。
これは、文庫という体裁が後発であるが故に同人誌全体での相場が無い（実費が知られていない）というのが、A問題の根本にありそうだなぁ、というのが私が感じたことです。

なお、矛盾するかもなのですが、私は文庫を主に出している者で、トピ主様が想像した通りに「多くの人に手に取って欲しい」とは思っていません。「多くの人に『読んで』欲しい」という意味では、無料のwebに勝るものはないからです。書籍という物理的な存在にする場合は、多くの人に読んで貰うことよりも、自分の好み（文庫が読み慣れているから文庫がいい。値段が安いのが好きだからハードカバーの単行本ではなく文庫を買う人間です）を優先させます。
現状、多くの印刷所の料金では、印刷費÷部数の単価は、A5より文庫が高くなります（文字組でも多少変わりますが）。文庫の方が赤字を背負う可能性は高く、そういう意味では「文庫で出す人＝売れなくて良い人＝儲けを考えない人」という等式が成り立つ可能性もあります。が、トピ主様のようにジャンル相場というものに縛られて、「文庫で出す人＝値段が高くても気にしない人＝売れなくて良い人」という等式が成り立つ可能性もありますね。勿論、それ以外もあり得ます。例えば、装幀の幅です。
私はここ数年で同人の世界に入ったので昔がどうだったのかは知りませんが、少部数で安価に装幀に凝ろうとするとA5を選ぶしかない、と感じることが多かったです。（文庫のカバーに特殊印刷をしてくれるプランがなかったり、値段が高かったり、オフセットでしか対応してくれなかったりする）。カバー文庫で特殊印刷は難しいです。装幀に凝りたいなら、A5の方が選択肢豊富で好きに出来るので、敢えてA5という人もいるでしょう。実際、A5の素晴らしい装幀の小説に出会ったことがあり、その本は今でも宝物です。
結論として、「文庫で出す人は」という総論は出来ないように感じていますし、その必要もないと思います。
同人は売り上げや需要よりより趣味と品質を優先できる素晴らしい場所です。私は就業先でコスパについてうるさく言われて、品質の高さを追求できないことにフラストレーションを感じています。商業に出ているものは高品質と思われがちですが、あれは「コスパがいい」の間違いです。収益の期待できない品質の高さを追求する企業は、奇跡でもない限り潰れます。
同人誌は収益にかかわらず、好きと品質を追求できる。だからこそ、私は同人誌を作っています。

上で書いた通り自ジャンルではp数×8は相場の範囲内です。
×7以下にしているのは字大手さんくらいです。
小手サークルさんが×8～10で付けてる中で中堅の自分が値段を下げるのは気が引けました。
A5でも100pの本をもっと安く値付けできても相場である1000円に合わせるように、文庫もそれに倣っています。

ジャンル自体が他よりも相場高めのジャンルのようですね。
字ジャンルは小手でもカバー付けたり特殊加工したりと装丁を盛る方が多いので、これも相場高めの一因になっていると予想します。

他界隈はもっと相場が低いとのことですが、皆さんのジャンルの文庫はどのくらいですか？
流行ジャンルかマイナーか、年齢層高めか、字強めか弱めかも合わせて知りたいです。

自ジャンルは上で書いた通り
覇権ではない二～三番手の流行ジャンル、年齢層高め、小説強め
相場はp数×7～10で、200p文庫だと1500～2000円になります

トピずれかもしれないけど、文庫カバーがやりたい場合、本とカバーを別注して自力でカバー巻きするとかなり安上がりになる。少部数でしか出来ない技だけどね。
自ジャンルでは、文庫で出したいけど購入者の負担になら無いようにって、夜なべでカバー巻きして安く頒布してる人多いよ。弱小ジャンルで少部数だからできることだけどね。
かといって、高い値段だからって苦情も来ないよ（私は初心者で相場知らなくて、単純に印刷代÷部数のちょい高めで頒布しちゃったことあった。普通に完売したし、嫌味や当てこすりもなくて、なんなら再販希望来て再販もした）
トピ主さんはノベルティつけたりして儲けが出ないようにしてるんだろうけど、他の人達は儲けてウハウハだろうね。って思ったら悲しくなって来た。

自分は鈍器になりがちな書き手ですが、リアイベで何回か買い手さんに言われたことがあります。
（文庫もA5二段も出してます）
「A5本（二段）は開いただけで字が一杯でしんどい」
そこそこ人がいるジャンルで原作は漫画だからか、字に対して強くない層が居るようです。
字が好きな人なら逆にウキウキするのでしょうが、見た目から来る字の圧に弱くてA5を苦手とするタイプがいるんだなと思いました。
二段組の紙面が辛くて手に取りづらいって層が一定居るようです。この手の人達は文庫推しですね。悪いとは全然思いませんが。
大量の字が並んでるだけでときめいてくれる神のような読み手さん達からすると、サイズはどっちでも良いのかなと思います（悩んでアンケ取ったりするとお好きにどうぞと言われる）。
結局はジャンルの傾向なんじゃないんでしょうか（そこにいる人達の年齢層とかも含む）。