Inmerso en múltiples proyectos, Gaudí solicita al obispo que le remita dibujos y toda la documentación posible acerca del lugar en el que había de emplazarse la construcción y sus alrededores al serle imposible viajar hasta la capital maragata. De este modo, el proyecto no se retrasaría.

Tras estudiar a fondo los materiales (está construido de granito gris del Bierzo) y el lugar, el arquitecto prepara los planos y los envía a Astorga sin haber conocido aún la ciudad. Grau, satisfecho con la propuesta (que finalmente sufrió alguna variación impuesta por la Real Academia de las Bellas Artes de San Fernando de Madrid), inició los trámites pertinentes y el 24 de junio de 1889 se colocaba la primera piedra del nuevo palacio episcopal que tiene un cierto aire de castillo medieval.

Cuando en 1893 fallece el obispo Grau, Gaudí presenta su renuncia por las desavenencias surgidas con el Cabildo, al parecer, por motivos económicos. Queda así la obra estancada durante años. Será entre 1907 y 1913 cuando el arquitecto Ricardo García Guereta retoma los trabajos siguiendo los diseños del catalán.

Su uso debía ser el de residencia episcopal, pero poco tiempo fue empleado para tal fin. El palacio se utilizó como cuartel de la Falange durante la Guerra Civil y, actualmente, es sede del Museo de los Caminos, dedicado al Camino de Santiago.