En el año 1944, desde el Concejo Deliberante Antonio Terragni propone crear un Archivo Histórico. Por distintas razones no se logra concretar la iniciativa.
Con el fin de asegurar la conservación y preservación de elementos referentes a la historia local, durante el año 1956 el gobierno de la ciudad decidió crear por Ordenanza Nº 836 un organismo que se ocupe de esta tarea. Conservar el importante volumen de documentación y objetos que poseen particulares y organismos oficiales y que conformaban la historia rafaelina: nace así el Museo y Archivo Histórico Municipal de Rafaela.
Debido a la importancia que las colecciones documentales asumen y a la demanda de la comunidad a través de los establecimientos educativos, investigadores y medios periodísticos, en 1988 el Archivo Histórico Municipal se independiza como organismo del Museo Histórico Municipal. Se le asignó un nuevo espacio, personal y presupuesto propio.
En 1991 se implementa el "Programa de Rescate y Conservación del Patrimonio Histórico Cultural", triplicando en pocos años el volumen documental.
En el transcurso de 1995 el Archivo Histórico comienza a funcionar en un edificio propio en calle San Martín 559 e incorpora las áreas de depósito, espacios destinados a sala de consultas, servicios de reprografía, microfilmación y procesamiento digital.
Durante el año 2009 se comienzan a realizar trabajos de reproducción digital.
En el 2010 se habilita una base de datos en línea que cuenta con más de 2500 fotografías reproducidas digitalmente. También se trabaja en la digitalización de Archivos Particulares y de Instituciones Intermedias.