El James Madison Memorial Building completa junto con el Thomas Jefferson Building y el John Adams Building el trío de edificios que componen la Biblioteca del Congreso. Entre ellos tres atesoran más de 20 millones de libros, 61 millones de manuscritos, 5 millones de mapas y atlas y 5 millones de partituras.