1930年代、ジャズ全盛期のシカゴ。ジプシージャズの天才ギタリストのエメット・レイは、崇拝するギタリストジャンゴ・ラインハルトの演奏が世界一で、自分は2番目に天才だと信じている。そんな彼は音楽に生きる反面、裏社会でも顔が通じ、娼婦の元締め、女遊び好きと自堕落な人生を送ってきた。 彼はニュージャージー州の海辺で友人ビルとの賭けに負け、仕方なくナンパした小柄で口のきけない女性ハッティと付き合うようになる。エメットの弾くギターに心惹かれたハッティは彼を愛すようになり、はじめは遊びのつもりだったエメットも辛くあたりつつも、素朴で優しい彼女に惹かれていく。 しかし、上流階級の女性ブランチに出会い惹かれた彼はハッティと別れ突然結婚するが、2人の共通点は派手好きなところ位で愛には乏しく、ブランチはいつしかジャズクラブの用心棒アルと不倫するようになっていった。