1865年 フュン島のノーレ・リュンデルセに生まれた。アンデルセンの出身地オーデンセから12kmほどはなれた農村地帯である。父ニルス・ヨアンセンはペンキ職人で、兄弟は12人の大世帯で貧しい生活だったが、音楽の趣味があった。
1871年（6歳） この頃から、父の楽団に入りヴァイオリンを弾くようになった。
1879年（14歳） オーデンセの軍楽隊に欠員が出たため応募し、わずか1ヶ月の練習で合格した。この時はホルンとトランペットを扱った。
1884年 コペンハーゲンの音楽院をヴァイオリンで受験したが不合格。作曲家のニルス・ゲーゼに作品を見せることによって作曲科に合格が許された。音楽院時代にはヴァイオリン・ソナタ、弦楽四重奏曲などの習作を手がけた。
1888年 卒業後に「弦楽四重奏曲第1番」、「弦楽五重奏曲」、「弦楽のための《小組曲》」などの作品を発表する。翌年にかけて交響曲に試みるが挫折。その第1楽章が「交響的ラプソディ」となった。
1889年 王立劇場オーケストラのヴァイオリン奏者となり、ヨハン・スヴェンセン（Johan Svendsen, 1840年 – 1911年）のもとでオーケストラの活動が始まった。
1891年 パリでアンネ・マリー・ブローデルセン（彫刻家）と出会い、結婚。
1892年 交響曲第1番を完成。作曲家として順調な活動を開始した。
1901年 4幕からなる歌劇『サウルとダヴィデ』を完成。
1902年 交響曲第2番『四つの気質』を発表。
1903年 ギリシャを旅し、エーゲ海の日の出に感激して序曲『ヘリオス』を作曲した。
1906年 2作目の歌劇『仮面舞踏会』、「弦楽四重奏曲第4番」を発表。
1908年 スヴェンセンが王立劇場楽長を引退し、その後を引き継いだ。
1911年 交響曲第3番『ひろがりの交響曲』 、ヴァイオリン協奏曲を完成。
1914年 第一次世界大戦のため王立劇場楽長を辞任。
1915年 王立コペンハーゲン音楽院の理事に就任。音楽協会で指揮者として活動した。
1916年 交響曲第4番『不滅（滅ぼし得ざるもの）』を完成。ピアノ曲「シャコンヌ」、「主題と変奏」を発表。
1922年 交響曲第5番、管楽五重奏曲を完成。このころより作風が変化し、より難解で内向的なものになっていく。
管楽五重奏曲はコペンハーゲン管楽五重奏団のために書かれ、メンバー全員のために5つの協奏曲を書くことも計画していたが、作曲者の死によりフルート協奏曲（1926年）とクラリネット協奏曲（1928年）の2曲で終わった。
1925年 交響曲第6番『素朴な交響曲』を完成。
1931年 オルガン曲「コンモツィオ」完成。王立コペンハーゲン音楽院の院長に就任。逝去。
代表的な作品
詳細は「カール・ニールセンの楽曲一覧」を参照
交響曲
交響曲第1番 ト短調 （1891年-1892年, op.7, FS.16）
爽やかで牧歌的な若き日の力作。4楽章制であり、第1楽章提示部には繰り返しを記しているなど形式的には古典的なスタイルに拠っているが、ト短調の作品にも関わらず第1楽章の第1主題冒頭と第4楽章最後の和音はハ長調である。全体の構成や楽器用法にはブラームス、中間楽章の牧歌的な部分などにはスヴェンセンやゲーゼの影響が見られる。一方では、最初の交響曲への試みであったが未完成に終わった1889年の『交響的ラプソディ』（FS 7）が純ブラームス風であったのに対し、唐突かつ頻繁な転調を伴う独特な和声進行 (en:Progressive tonality) や半音階的な旋律に作曲者独自の音楽語法がすでに明確に表れている。
交響曲第2番 ロ短調 『四つの気質』 （1901年-1902年, op.16, FS.29）
ニールセンが夫人や友人と共に村の居酒屋でビールを飲んでいた時に目撃した、人間の四気質をテーマにしたコミカルな絵にインスピレーションを得て作曲されたと言われている。4つの楽章にはそれぞれ四気質に基づく発想記号が記され、この曲が標題音楽であるか否かが議論になる。同時期に作曲されたオペラ『サウルとダヴィデ』と作曲手法や表現の点で共通点が見られる。
交響曲第3番 ニ短調 『広がりの交響曲』 （1910年-1911年, op.27, FS.60）
壮大で牧歌的な、いわばニールセンの田園交響曲。第1楽章はベートーヴェンの『英雄交響曲』を思わせるような激しいトゥッティから始まる、アレグロ・エスパンシヴォ。ニールセン研究家のR・シンプソンが「競技的な3拍子」と評した強靭で生命力あふれる音楽である。第2楽章アンダンテ・パストラーレで、バリトンとソプラノのヴォカリーズが加わる。第3楽章はウィットの効いたスケルツォ、第4楽章では、ブラームスの交響曲第1番の終楽章の主題と似た主題が力強く支配する。
交響曲第4番 『滅ぼし得ざるもの（不滅）』 （1914年-1916年, op.29, FS.76）
6曲中最も有名で、シベリウスの交響曲第7番のような単一楽章の交響曲であるが、古典的な4つの楽章に相当する部分が連続しながら、最後に第1楽章に相当する部分の第2主題が蘇るという構成を持つ。第一次世界大戦中の暗い時代に書かれた作品で、音楽と生命の不滅を高らかに歌い上げた交響曲である。
交響曲第5番 （1921年-1922年, op.50, FS.97）
最も完成度の高い交響曲である。第4交響曲よりも戦争を内面的に深く扱った作品であり、独特な形式による2楽章構成を持っている。ニールセンのそれまでの交響曲の編成は、打楽器はティンパニのみという、いわばブラームス路線であった。しかしこの第5交響曲では打楽器陣の活躍が目立ち、特に小太鼓はアドリブのソロがあるなど重要な役割を担っている。第1楽章は2つの部分に分けられ、第2楽章は古典的な交響曲の4楽章に相当する4つの部分に分けられる。
交響曲第6番 『素朴な交響曲（シンフォニア・センプリーチェ）』 （1924年-1925年, FS.116）
古典的な4楽章による交響曲である。副題の通り簡潔で新古典主義的な雰囲気を持つが、内容は風刺やユーモア、ウィットに富み、複雑なフーガや室内楽的な楽器用法が随所に見られるエキセントリックな曲。薄い編成から始まり重厚に展開していく冷涼とした第1楽章、鶏や牛の鳴き声を彷彿とさせる音型が登場する2つの軽い中間楽章、裸のファゴット一本で淡々と奏でられる主題を各パートを浮き彫りにした奇抜な管弦楽法のもと変奏していき、最後に再びファゴットだけで変ロ音を残して終結する第4楽章から成る。
協奏曲
ヴァイオリン協奏曲はロマン派的な派手な曲であり、6つの交響曲を完成させた後の晩年の作であるフルートとクラリネットの協奏曲は、弦楽合奏を主体とした小規模編成の管弦楽を用いた内向的かつ濃密な曲である。
ヴァイオリン協奏曲 （1911年, op.33, FS.61）
シベリウスのヴァイオリン協奏曲とは大分趣が異なり、時折ロマン的情緒のただよう旋律が含まれる。それぞれが序奏付きアレグロと見なせる2楽章構成。第1楽章はカデンツァを伴う前奏曲と華やかで軽快なソナタ形式による主部、第2楽章はBACH主題が用いられる緩徐楽章的な性格を持ったアダージョと田園的なロンドから成る。
フルート協奏曲 （1926年/1927年改訂, FS.119）
1926年に完成。これも2楽章構成である。バストロンボーンを含む二管編成の管弦楽を用いるが、オーケストラにフルートとトランペットは用いられていない。ウィットに富んだ、室内楽風の軽妙な響きを持つ華やかな作品。バストロンボーン、クラリネット、ティンパニ、ファゴットなどにもソロが出現し、独奏フルートと対位的な掛け合いを繰り広げる。
クラリネット協奏曲 （1928年, op.57, FS.129）
最晩年の作品で、単一楽章形式から成る内向的な曲。弦楽以外にはファゴットとホルン各2、小太鼓のみを用いる。独奏クラリネットの用い方はリズミカルで時に多調的であり、ジャズを思わせる部分すらある。小太鼓は副独奏者的な位置にある。
オペラ
サウルとダヴィデ （1898年-1901年, FS.25） 全4幕
仮面舞踏会 （1904年-1906年, FS.39） 全3幕
管弦楽曲
小組曲 イ短調（1888年, op.1, FS.6）
北欧的な叙情にあふれる弦楽合奏曲。音楽院を卒業してすぐの作品でありながら、今日でもしばしば演奏される。
ヘリオス（1903年, op.17, FS.32）
エーゲ海の日の出の印象を表現した演奏会用序曲。
サガの夢（1908年, op.39, FS.46）
アイスランドの5大サガの一つ『ニャールのサガ』の一場面に基づいた交響詩。
パンとシリンクス（1917年-1918年, op.49, FS.87）
ギリシャ神話に基づいた交響詩。
アラディン （1918年-1919年, op.34, FS.89）
合唱、独唱を伴う劇付随音楽。組曲も編まれた。
室内楽・器楽曲
弦楽四重奏曲第1番 ト短調 （1887年-1888年, op.13, FS.4）
スヴェンゼンやゲーゼの影響の濃い作品
弦楽四重奏曲第4番 ヘ長調 （1919年, op.44, FS.36）
古典的な様式にのっとっているが、半音階的移行を多用する旋律やリズムなどにはニールセンの個性が表れている。改訂に伴い作品番号も変わっている。
霧が晴れていく
劇音楽『母』（1920年, op.41, FS.94）に使用されたフルートとハープのための小品で、単独で演奏される。
木管五重奏曲 （管楽五重奏曲） （1920年-1922年, op.43, FS.100）
コペンハーゲン管楽五重奏団のために作曲された。作曲の期間は交響曲第5番と重なり、最も創作意欲の充実していた時期の作品である。組曲風の軽妙で愉快な作品。
シャコンヌ （1916年, op.32, FS.79）
シャコンヌの形式を採用したピアノ曲。
経済的に貧しい家庭に生まれ育った故、少年時代に触れる機会が無かったピアノはニールセンにとって当初は得意な楽器では無かった。ピアノが得意であったグリーグやシベリウスがピアニスティックな小品を大量に残したのに比べニールセンのピアノ曲は数が少ないが、大規模でシンフォニックな4曲（交響的組曲 op.8、シャコンヌ op. 32、主題と変奏 op. 40、組曲「明けの明星」op. 45）を中心とした充実した作品群を残している。その他に特筆される作品としては晩年に作曲された3つの小品 op. 59が挙げられる。クラリネット協奏曲や「無伴奏ヴァイオリンのための前奏曲とプレスト」と同時期に書かれており、3曲目ではトーン・クラスターを用いるなどニールセンの作品中最も実験的な曲の一つである。