詳細まで読むと相手と結構仲がいいことが伺えたので、正直に「これは仕事にできるレベルではない」または「少なくとも自分は依頼主としてこれを仕事の成果として認められない」と伝えるのでもいいと思えたな。
ただまあそこから「じゃあどういう風なのがいい？」「どうしたらいいかな？」という相談に発展する可能性はあるかもしれないし、「応援してくれるんじゃなかったの！？」と返される可能性はある。

自分はデザイン畑にいるしたまに有償で知り合いの作業受けるけど、なんにせよお金が発生した以上、友達とはいえ依頼主が納得したかしないかで報酬を得るべきなんだよね。仕事を始めたいのならオタ友さんはそれを知るべきです。
なので正直に言ってあげるのは優しさなんだけど、最後まで付き合うかはトピ主の心と親しさ次第かなあ。

正直に言わない場合の断り方はごめんわからん。この状況だとどう答えてもどちらかに遺恨が残る。

リテイクしてもいいけど、今回は納期が厳しいから他で頼みますって言ってもいいと思う（表紙先に入稿したいからとか早割使うからとかそういう理由をつけて）

単純に指定されたデザインで仕上げるって結構難しいことだからポップなデザインが苦手だっただけかもしれないし、なんとも言えないけど「ごめん、ポップなデザインって難しかった？」とか「色こっちで細かく指定したけどそれがまずかったかな」みたいな感じで、依頼を断ってからのデザインって難しいよね談義でお茶を濁そう・・
デザイン料は勉強代として諦めるか、もし友達が得意なデザインとかがあるならそういう本を描くタイミングになったときにまた作ってもらうのでいい？みたいな感じにしておくとかなあ
お金も今度から後払いでもいいかも。デザインってリテイク数にもよるから基本的に後払いの方が多いと思う

まずはリテイクを相談してみるのが良いかと思います。
リテイクのやりとりで難航するようなら、イメージと違う、これ以上は手間をかけるからと料金を払った上で自分で対応する、としてみるのはどうでしょうか？2往復くらいしてみると大体わかると思います。

デザイン監修などの仕事をしていますが、ラフ→初稿→リテイク…と段階を踏んですり合わせる事が多いので有償の場合はおかしな流れではないかと思います。(最初にどれくらいリテイク可能か、リテイクを少なくするためにラフを作ってもらうなど、完成までの認識をそろえておくと楽)

リテイクをお願いする際、センスがないと批判を口にするのでなく、現状の良いところ、変えたいところ、その具体的なイメージを伝えるのが良いかと思います。
(元気な印象は感じた！その上で色味やフォントは○○こうしたいが可能か？など)

リテイクの際に、会話にならない、文句が出てくる、逆に批判される、など人間的な面でやりとりが難しい場合は、それこそ仕事としてやって行くのは難しいでしょうし、自分の場合人付き合いごとフェードアウトを考えるかもしれません。

少しでも良い結果になりますように…！

「ダサい」をうま～く「思い描いてたデザインと違う」って言い換えてリテイクが良いんじゃないかな…
リテイクに難色示されたら、「こういう依頼受ける人はリテイクも作業の内」っていうのを説明するしかないと思う。リテイク受けてもらえないなら、さすがにリテイクなしはちょっと…他の人にお願いするか自分で修正させてもらいたい、って難色示してもいいと思うよ。

後はうまいこと修正を誘導していくしかないかな…
例えばフォントは創英角ポップ体じゃなくて丸ゴシックのイメージだった、って伝えて、具体的なフォントもいくつか探して挙げておいてこの中から使ってもらうのは難しい？って聞いてみるとか
色も虹色ちょっとカラフル過ぎるから色数減らしてほしいとか、もしくはキャラクターのイメージカラーのXX色にこだわりがあるからその色に絞ってほしいって伝える。
とにかく一回自分でせめてこれくらいにはなってほしいってロゴを作ってみて、そこに寄せるように誘導して指示していくのが良いと思う。

すでにかなり言われてるけど、はっきりこれじゃ仕事にするのは無理って言える間柄なら言ってあげる方がお互いのためになるとは思う

デザイン苦手だから他の人にお願いしてって絵だけ描いて渡したら、なんちゃってデザイナーの人（多分友達の友達）にうわぁー？！ってデザインされてトラウマになったことあるから気持ちわかる。これなら自分でやった方がよかったと後悔した。　
先にどんなデザインをするか確認しなかったのはこちら側の落ち度として肝に銘じて、申し訳ないけどイメージと違うと伝えてみては？それでどういう反応をするかでリテイクして貰うか引き上げるか考える。デザインでお金を取るって相手の要望を叶えることだから、そこでムッとしちゃったら向いてないと思う。
リテイク受けて貰えるなら、曖昧な指示はせずトピ主がフォントも色も具体的に指示して、こうしたいって言った方がいいかも。
これから大事な場所に行くって時に美容室で変な髪型にされたら泣いちゃうのと一緒で、表紙のデザインって期待値が高いものなんだよね…。でも逆にいくらダサくても、相手の要望にあってれば良いとも言えるので、お友達に相手の気持ちを汲もうとする心意気があるなら、応援してもいい気はする。

リテイクはお願いして下さい。相場より高く払ってるなら。手数料もかかってないので実質二倍くらいは払ってると思います。
ただ、リテイクで直るかな…。直らなかった場合は、もうどうやっても角が立つと思います。自分で手直ししても、使わないことにしても、角は立ちます。そのダサいデザインを提出してOKと思った感性なら、多分自己反省には至らないと思います。トピ主に不満も持つと思います。

自分ならどうするか考えて…
１）書きたかった本をこちらの事情でどうしても発行出来なくなった。お金は返さなくていい、事情については本当に申し訳ないが話せない。で通す。作例として使っていい、と言いたくなるところですが言わない方がいいです。この作例をRTしてほしいと要請もくるでしょうし。ただ今度はこっちの事情を疑ってぶつぶつ言い出す可能性もあるので…以下の２の方がいいかも…。
２）素直に一言「ダサい」って言った方が一周回って一番角が立たないと思います。ダサいものはダサい。ダサいので使わないです。が、いいかも。使う使わないはともかく、成果物はあるのでお金はきちんと払った上で、おしまいにします。

少し気になったのは、ご友人の過去の作例はなかったのでしょうか？

相手が本気で「同人誌の表紙デザインやロゴ作成の仕事を始めたいと考えている」なら、厳しい言葉を投げてあげた方が良いよ…
言い方は厳しくなくていいよ

29コメさんの認識合わせは大事だよ
デザイン業界じゃないけと近い場所にいるんだけど、
うちはリテイク回数決めてないor少ないなら、手間を減らすために最初に認識合わせを念入りにするのね

今回はトピ主さんが要望を伝えているのに
オタ友さんが全く違うものを出してきた感じだよね
パクりにならないよう多少変えるのは分かるけど、今回は多分全く違うものなんだよね？
この時点でデザイナーとしては駄目だと思う…

認識合わせした上でオタ友さんがトピ主にプレゼン返しができないか、友人のなあなあで済ましたら不機嫌あらわにしてきたら
仕事にするのは向いてないから二度と頼まんでいいよ
金銭のやりとりしたならそこは線引きはした方が良いよ

リテイク一択。
でも、リテイクのお願いする時に修正案を手書きで良いから出すと良いかも。ダサいと思う部分は、「ここは自分の思っていたイメージとちがったからこういう風に変えてほしい」ってちゃんと言う事。

テイストの違う参考デザインを数枚出してしまうとまたとんでもないモノが出来る可能性があるので、極力似たようなデザインの参考画をだしながら、「このデザインのココが好きだからこの雰囲気を入れてほしい」と面倒かもしれないけど、細かく伝えてあげる事。

今からデザインやろうとする人は、ヒアリングから相手が望む物へと想像するのが下手だから、こちらからどんどん要求出して良いよ！頑張って！

以上本業デザイナーからのアドバイスでした。

IDが変わってしまっているかもしれませんが、トピ主です。
お一人お一人に返信すべきところですが、まとめてのお返事となり申し訳ありません。
みなさま大変親身に相談に乗っていただき、本当にありがとうございます。トピを立てた時は大変動揺そして混乱していたのですが、みなさまのアドバイスのおかげで少し冷静さを取り戻せました…
本業でデザインをされている方からもアドバイスがいただけて、大変ためになりました
今後どうするか…の道筋が掴めそうです。本当にありがとうございます…！

ひとまず結論として、リテイクについて相談しようと思います。
幸いにも入稿予定日迄はまだまだ時間があるので、友人には正直に「依頼時に送ったイメージ画像(商業コミックの表紙やロゴ)とは雰囲気の方向性がかなり違うように思うから、特にフォントを別フォントAやフォントBなどに変えられないかな？」「カラフルすぎて指定したキャラのイメージカラーが他の色に負けているように感じちゃったから、この色とこの色だけで再構成するのは難しいかな？」などと具体的にどの部分を変えて欲しいのか……？というのをイメージ図付きで詳しく、そしてやわらかく話してみようと思います。
ただ、依頼時にリテイクに関する取り決めをすることを忘れたまま作成をお願いしてしまったので、それに関してまずはしっかり友人に謝りたいです……

友人のデザインセンスを否定することになってしまうのでは？友人を傷付けるのではないか…？と、リテイクすることについて消極的に考えていたのですが、
「お金で仕事として依頼したのだから、リテイク出した方がいい」「相手が本気で仕事としてやりたいと言ってるなら、正直に言ってあげた方がいい」とのコメントをいくつかいただき正直ハッとなりました。
今回オタ友からもらったデザインでそのまま同人誌を出したとしても今後オタ友にデザイン依頼する人は現れないのでは…？むしろ本気で仕事にしたいと考えているなら本人にとってもかなりマイナスな事例になってしまうのでは…？と思いますし、これについても伝えてみようと思います。
そもそも、友人の夢を応援したいと思ったからこそ依頼したので、これを言って友人に嫌われてしまったとしても今後友人がデザイン仕事をしていく上で経験として多少なりとも糧になる日が来てくれれば……という気持ちでいます