■指示書を作る
そこまで形式張ったものでなくて良いです。
ただ、注文側が投げっぱなしにするのではなく「自分のイメージをなるべく言語化する」努力も希望通りのデザインにするには必要です。

かっこいい、かわいい、ポップ、スタイリッシュ、ノスタルジック、おしゃれ、インパクトなど
全体的なイメージの希望・方向性をまず言語化する。

また、入れて欲しいコンセプトやモチーフなどがあれば必ず伝える
例）
・歯車をモチーフにしたデザインにして欲しい
・青や緑を基調とした感じが良い
・タイトルの「◯◯」という単語を目立たせるようにして欲しい
　
■ラフパターンを見せて貰う
デザイナーさんにデザインラフを何パターンか作ってもらい、それを叩き台にしながら方向性を練るのも大事です。
だいたい３パターンくらい作ってもらって、そこから一番自分のイメージに近いものを選びます。
その上で、修正して欲しい箇所などがあったら要望します。
この摺り合わせは良いデザインを生む上では大切だったりします。

■完成間際にちゃぶ台返しをしない
A案で作業を進めていたのに完成・納品前になって「やっぱりB案で作って下さい」と話をひっくり返さないこと。
場合によっては微調整どころではなく作り直しみたいなことになります。
トピ主さんのケースでは該当することではないとは思いますが、ちゃぶ台返しはデザイン・イラストの案件では度々起こる話なので注意が必要です。

＞過去作を挙げて、こういう雰囲気のがいいです、と伝えるのはあまり歓迎されませんか？
むしろ方向性が明確になる分、分かりやすくて良いです。
ただ、権利上の問題などで流用できないことなどもあるので、飽くまで方向性の参考案程度にしか出来ないこともあります。

仕事でデザインの発注と受注の両方を経験済みの者です。

＞デザイナーさんが作成されている過去作を挙げて、こういう雰囲気のがいいです、と伝えるのはあまり歓迎されませんか？（似たようなデザインになるからあまり例として挙げて欲しくないなど…）

そのデザイナーさんの過去作に関わらず、商業誌や映画のポスター等なんでもいいので、近しいイメージの画像があれば複数枚まとめて送るのが良いかもしれません。
あくまでも系統や方向性の擦り合わせをするための参考資料なので、完成したデザインが似たようなものになる可能性は低いと思います。
依頼者の本の内容やコンセプトを反映するという目的に沿って制作すると、系統は近くてもレイアウト等は自ずと別のものになるからです。

「スタイリッシュ」「シンプル」「格好良く」等のキーワードだけで依頼することも可能ですが、言葉に対する印象は人によって異なりますし、画像の方が伝えられる情報量が多いので、言語化された情報と視覚化された情報をセットで伝えると意思の疎通が取りやすいと思います。

「してほしくないこと」があれば事前に伝えることもおすすめです。(例：可愛い雰囲気が理想だけどあまり子供っぽくはしたくない　など)

ご参考になれば幸いです。