Fue creado por el Decreto 914/1969 de 8 de mayo, que configuró de forma definitiva el sistema de archivos de la Administración. En el texto del preámbulo queda de manifiesto que sus antecedentes se remontan al siglo xvi, ya que, por las funciones que se le encomiendan, es el heredero directo del Archivo General de Simancas y del desaparecido Archivo General Central de Alcalá de Henares.
El Archivo de Simancas, de época de Felipe II, recibía remesas de documentación de los consejos y demás dependencias del gobierno. La saturación de su espacio físico y la distancia de la corte fueron los motivos que determinaron la creación del Archivo General Central en 1858, instalado en el Palacio Arzobispal de Alcalá de Henares.
El Archivo General Central recibía documentación procedente de los Ministerios y de los organismos suprimidos tras la reforma de 1834. Transcurridos los plazos reglamentarios se hacían envíos de documentación al Archivo Histórico Nacional, hasta que en 1939 un incendio destruyó el Archivo General Central.
Cuando en 1969 se crea el AGA, éste consolida el Sistema Archivístico Español que ya existía de hecho desde el siglo anterior y regula los plazos para las transferencias entre los diferentes archivos del sistema. Así pues, se establece un plazo de quince años para que los Ministerios transfieran al AGA sus documentos, y un periodo de veinticinco años para que aquellos documentos que hayan perdido su validez administrativa y tengan carácter histórico sean transferidos al Archivo Histórico Nacional.
Los primeros fondos fueron ingresados a finales de 1972, aunque la inauguración oficial del AGA no fue hasta el 27 de marzo de 1976 debido a las vicisitudes que marcaron la vida política de nuestro país a partir de diciembre de 1973.
La desaparición del Archivo General Central había supuesto la acumulación de los documentos en los archivos centrales de los Ministerios e incluso, a veces, la destrucción de parte de la documentación por falta de espacio.
Todo esto supuso que el AGA en 1972 recibiera estos fondos de una manera masiva, y antes de que pudieran ser identificados tuvo que recoger los fondos de instituciones desaparecidas (Falange, Sindicatos, Sección Femenina...) y documentación de las antiguas colonias españolas en África.
El traslado de los Juzgados de Madrid a su actual ubicación en la Plaza de Castilla supuso un ingreso masivo de documentación judicial.
A pesar de la situación en que llegaron todos estos fondos y la escasez de personal, el Archivo se ha esforzado por satisfacer las necesidades tanto del investigador como del administrado en general. La saturación del espacio del Archivo Histórico Nacional impide que se realicen transferencias de documentación según los plazos arriba citados, motivo por el cual el AGA cumple en estos momentos las funciones de archivo intermedio e histórico, custodiando documentos que se remontan al siglo xviii.
En la actualidad, el Archivo sigue tendiendo como fin esencial la recogida mediante transferencias regulares, de la documentación producida por la Administración General del Estado que, tras permanecer en sus respectivos archivo centrales, haya perdido la suficiente utilidad administrativa como para que el descenso en su índice de frecuencia de consulta aconseje su transferencia a un archivo intermedio.
Por otra parte, y como se expresaba en su decreto de creación, el Archivo General de la Administración tiene la misión de determinar qué fondos deben ser transferidos al Archivo Histórico Nacional y cuáles pueden ser propuestos para su eliminación a la Comisión Superior Calificadora de Documentos Administrativos.
Como el resto de los archivos estatales, tiene encomendadas las funciones de custodia, organización, descripción, conservación y difusión de los fondos en él depositados, en tanto que constituyen una parte importante del patrimonio documental español. En el desempeño de esas funciones, el Archivo ofrece los siguientes servicios: