オリバー・ネルソンのキャリアは、ルイス・ジョーダンのビッグバンドから始まる。
その後、海兵隊に入隊し、そこで出会ったモダンミュージックによって作曲家としての生き方が決まった。
彼にその決意のきっかけを与えたのは、日本滞在時での東京フィルハーモニーオーケストラのコンサートである。
First time that I had heard really modern music, for back in St. Louis I hadn't even known that negroes were allowed to go to concerts, I realised everything didn't have to sound like Beethoven or Brahms...It was then that I decided to become a composer"
それがモダンミュージックとの初めての出会いだった。それまでセントルイス時代では、黒人がコンサートに行くことなんて考えられなかったんだよ。東京でのコンサートで初めて、全てがベートーベンやブラームスのように奏でる必要はないって気が付いたんだ。そのとき作曲家になろうと決めたよ
その後、NYに移住し、そこでアースキン・ホーキンスやワイルド・ビル・デイビスらとプレイを重ねる。
さらにハーレムのアポロシアターの総合アレンジャーとしての仕事も精力的にこなし、1960年から61年までクインシー・ジョーンズとともに、アメリカ、ヨーロッパツアーでテナーサックスを演奏した。
ネルソンが一躍有名となった曲が「ストールン・モーメンツ」で、この曲はカバーソングであったにも関わらず、現在ではネルソンのバージョンがスタンダードとなっている。
この成功によって、ネルソンは作曲家、アレンジャーとして認められることとなり、その後多くのビッグバンドアルバムに関わることとなった。
1975年に心臓発作により死去。
43歳の若さだった。
稀代の作曲家にしてサックスの名手に、日本が深い影響を与えることができて非常に光栄である。