Kariyerine 1992 yılında Rosenhøj adlı bi Danimarka takımında başladı. Henüz 12 yaşında iken Brøndby IF takımının altyapısında oynamaya başladı. 2004 yılında Brøndby'nin A takımına yükselmeyi başaran Agger 2006 yılında Liverpool'un 8.76 mil. euroluk teklifini kabul etti ve Liverpool'a transfer oldu. Liverpool takımında 8 yıl kalan ve başka Premier League takımlarından gelen teklifleri kabul etmeyerek 32 yaşında, başladığı yer olan Brøndby IF takımına katıldı. 2016 yılında futbolu bıraktığını açıkladı. Agger 8 yıl boyunca Liverpool taraftarları tarafından çok sadık bi futbolcu olarak bilindi. Liverpool taraftarının klasik bestesi "You'll Never Walk Alone" adlı bestenin baş harflerini parmaklarına dövme olarak yaptırmıştır.
Danimarka U20
