Porreño escribió en 1628 que Felipe II "no labró entierro para sí, porque quiso que ninguno pensase levantara aquel prodigio de maravillas para enterrar sus cenizas". Sin embargo, en ése cúmulo de contradicciones, medias verdades y ocultaciones que son las crónicas oficiales del monasterio, más adelante se contradice: "edificó, para sepultura suya y de su prole regia, el templo de San Lorenzo"(61). Para algunos autores, este concepto es un invento de los últimos Austrias para favorecer su idea de un Panteón de Reyes que separara a los principales miembros de la dinastía de sus familias(62).

Kubler(63) cita a Herrera como autor de las trazas del panteón (aunque ésto es muy dudoso, ya que estaba muy avanzado -si no terminado- a la muerte de Toledo en 1567), a Crescenzi (1617) de su conversión en octógono(64), y a Lizargárate (1635) de su decoración. Según Kubler, Lizargárate fue el responsable de resolver los problemas de humedades e inundaciones, lo que posibilitó bajar el suelo de la cripta metro y medio.

Los cuerpos reales debían pasar entre treinta y cuarenta años en los «pudrideros» hasta que estuviera "consumida la humedad, y cuando ya no despiden mal olor"(65). Estos pudrideros son pequeños cuartos que quedan a los lados del Panteón, a un nivel ligeramente superior. También se guardan en la actualidad ataúdes en el antiguo coro bajo.

Visitando el antiguo coro alto (láms. 3 y 4) pudimos ver los nichos vacíos forrados de un estuco menos vistoso que el mármol barroco del actual panteón, y que Quevedo aún llama Panteón de Infantes(66). Su pobre decoración e iluminación hizo que se trasladara a los amplios sótanos del convento y que se dejara cerrado y sin uso tras la reforma de Isabel II. Sus medidas eran de 36 pies de largo por 16 de ancho (las proporciones duplas del Sancta del Templo de Salomón, acorde con su carácter de nave frente a la capilla mayor), con 51 nichos para los familiares de los reyes.

Todavía, cien años después de realizada la obra de trasformación de la capilla en Panteón Real, el Padre Ximénez describe en 1764 en su grabado los dos espacios anexos como "D. Pantheon d. Infantes y bóveda donde se depositan" y "E. Hueco d. la Escalera del Pantheon", y la bóveda de encima es ahora la "B. Secretaría de Estado"(67). El uso de ésta secretaría no está muy claro, pero merece ser subrayado que ya no pertenecía a la órbita de la eucaristía, sino a algún uso civil. Además, en el título de la descripción del Panteón lo nombra como "Capilla Real" de los "Vice-Dioses". El nombre de Panteón, tal vez por la semejanza de la bóbeda con el célebre Panteón romano, había calado tanto que ha pasado desde entonces a convertirse en sinónimo de enterramiento familiar. La justificación etimológica para Ximénez es la de "semideidificar" a los reyes españoles. Un contemporáneo suyo, el embajador de Francia y duque de Saint Simon, Louis de Rouvroy, un hombre que no se distinguió por su amor a los españoles, describía este antiguo Panteón de Infantes como un espacio reducido donde los cuerpos se apretaban como libros en una estantería(68).

Grabado de la "Descripción" de Ximénez

Tal vez por estas evidentes críticas, y desde luego por la saturación natural de ataúdes con el paso del tiempo, este espacio ha quedado sin uso. El actual Panteón de Infantes, que ocupa los sótanos del convento, es de hechura moderna, según el proyecto aprobado por Isabel II en 1862 y terminado en 1888. Consta de varias cámaras sepulcrales, un auténtico museo de la historia moderna de la arquitectura y escultura funeraria española, en las que descansan los restos de distintos príncipes e infantes de las dinastías de Austria y de Borbón, desde Don Carlos y Don Juan de Austria hasta miembros de la familia de Alfonso XIII.

La continuidad del enterramiento conjunto de la dinastía ya había sido cuestionada por Doña Juana de Austria, hermana de Felipe II y madre de Don Sebastián de Portugal, que junto con su hermana la Emperatriz María se enterraron en el monasterio de las Descalzas Reales, fundado por la primera. Tras la consolidación en el siglo XVII del nuevo esquema de enterramientos de los «reyes y madres de reyes», la línea dinástica solo se rompió al instaurarse los borbones, cuando Felipe V e Isabel de Farnesio se enterraron en el Real Sitio de San Ildefonso de La Granja, y cuando Fernando VI y Bárbara de Braganza decidieron hacerlo en las Salesas Reales de Madrid. Fue Carlos III el que decidió continuar enterrándose junto a los Austrias. La otra excepción fue Amadeo I de Saboya, hijo de Víctor Manuel de Italia, que abandonó España tras su abdicación y murió en Turín.

La distribución de las 26 urnas del panteón (4+4+4 + 4+4+4 + 2) quedó pues según la línea dinástica, con las 13 parejas colocadas simétricamente, y con las excepciones que se señalan:

1. Carlos V de Habsburgo (1500-1558), con su única esposa Isabel de Portugal (1503-1539), padres de:
2. Felipe II de Habsburgo (1527-1598), con su cuarta esposa Ana de Habsburgo (1545-1580). La primera y la tercera están en el Panteón de Infantes, mientras que María Tudor está en Inglaterra. Fueron padres de:
3. Felipe III de Habsburgo (1578-1621), con su única esposa Margarita de Habsburgo (1584-1611), padres de:
4. Felipe IV de Habsburgo (1609-1669), con su primera esposa Isabel de Borbón (1603-1644), que no fue madre de rey.
5. Carlos II de Habsburgo (1661-1700), que no tuvo descendencia. En su frente, se colocó a su madre y segunda esposa de Felipe IV, Maria Ana de Habsburgo (1634-1696). Su sucesor fue Felipe V de Borbón, enterrado en La Granja, padre de:
6. Luis I de Borbón (1707-1724), que murió a los 17 años sin sucesión. Frente a él, su madre, la otra esposa de Felipe V, Maria Luisa Gabriela Emanuela de Saboya (1688-1707).
7. Carlos III de Borbón (1716-1788), hermanastro del anterior, hijo de Felipe V e Isabel de Farnesio, con su única esposa Maria Amalia de Sajonia (1724-1760), padres de:
8. Carlos IV de Borbón (1748-1819), con su única esposa Maria Luisa de Borbón (1751-1819), padres de:
9. Fernando VII (1784-1833), con su cuarta esposa y sobrina María Cristina (1806-1878), que quedó de regente hasta la mayoría de edad de su hija:
10. Isabel II de Borbón (1830-1904), esposa de su primo hermano por partida doble Francisco de Asís de Borbón (1808-1902), padres de:
11. Alfonso XII de Borbón (1857-1885), casado con Maria Cristina de Habsburgo (1858-1929), padres de:
12. Alfonso XIII de Borbón (1886-1941), casado con Victoria de Battemberg (1887-1969), que aún está en el pudridero, y que, en rigor, no ha sido madre de rey. Padres de:
13. Juan de Borbón, casado con María Mercedes de Borbón y Orleans (que están ya en El Escorial), padres del actual rey Juan Carlos I de Borbón. No llegaron a reinar, aunque sí tuvieron los derechos dinásticos durante el régimen del general Franco.