但从贝多芬开始，音乐的写作方式产生了变化。逻辑至上的写作方式渐渐向注重情感和内容表现的方式转变。从贝多芬的《第三交响曲》开始，传统的四乐章结构已经被推向了极限。在《第六交响曲》中，贝多芬试图将标题音乐的创作方法与交响曲结构相结合，最终导致了四乐章结构的瓦解。此后尽管他的作品依然坚持四乐章模式，但已经显示出音乐逐渐突破束缚的现象。《第九交响曲》名义上是四个乐章，但实际上远远超出了这一框架。
浪漫主义时期，情感表现进一步成为主要的创作源泉。因此，乐章结构变得更为多样。坚持传统的作曲家，如舒伯特、舒曼、门德尔松的大部分交响曲依然坚持四个乐章的结构，但某些作品仍然无法容纳在传统结构中。依据音乐描述故事的需要，出现了柏辽兹《幻想交响曲》这样的多乐章作品，和李斯特《浮士德交响曲》这样的三乐章作品。随着标题音乐的发展，李斯特终于推出了浑然一体的单乐章交响曲形式。这与他开创的交响诗形成了呼应。
浪漫主义后期，两极分化越来越明显。一方面有布鲁克纳坚持贝多芬式四乐章结构的做法（其《第九交响曲》为三乐章），另一方面又有马勒的不固定乐章数的做法。马勒的《第一交响曲》、《第四交响曲》、《第五交响曲》、《第六交响曲》和《第九交响曲》都是四乐章结构，但一点都不传统。《第二交响曲》和《第七交响曲》是五个乐章，《第三交响曲》是六个乐章，《第八交响曲》严格意义上说只有两个乐章（中间那个乐谱上标为引子）。
浪漫主义晚期的勃拉姆斯，尽管所有交响曲都是四乐章结构，但他在结构内部大大拓展音乐的表现力，是对音乐外部框架的另一种应对方式。
进入20世纪以后，交响曲逐渐失去原先的主导地位，作曲家对待乐章数量问题也愈发随意。韦伯恩的《交响曲》只有短短几分钟，肖斯塔科维奇的交响曲依据表现内容，乐章数量不一，他的《第14交响曲》根本就是一部声乐套曲。其他一些当代作曲家的交响曲也越来越无视传统的四乐章结构。
总之，乐章数量是音乐结构上的问题。随着结构对于创作的影响力的变化，而有着不同的选择。
关于这个问题还有另外一个回答角度：那就是，未必所有被称为交响曲的作品都可以算成交响曲。关于这个问题，要从另一个维度来回答，此处不再展开。
