Ya desde mediados del siglo XIX se venía pensando en la apertura de una vía que comunicara el noroeste y el centro de la ciudad y facilitara el tránsito por el entramado de callejuelas que conformaban el centro histórico de la ciudad, abriéndolas así hacia el ensanche proyectado por Carlos María de Castro. En 1862, tras la reforma de la Puerta del Sol realizada cinco años antes y la posterior prolongación de la calle Preciados hasta la zona de la actual plaza de Callao, la Junta Consultiva de Policía y Ornato del Ayuntamiento elaboró un primer proyecto consistente en la prolongación de la citada calle hasta la plaza de San Marcial, donde actualmente se encuentra la Plaza de España, para lo que, entre 1862 y 1868 se crea la plaza de Callao. El plan, para el que se expropiaron más de 30 solares y que contemplaba la creación de una vía de 13 metros de ancho, no llegó a realizarse.

El 3 de marzo de 1886 se aprobó el Proyecto de prolongación de la calle Preciados, describiendo una gran avenida transversal este-oeste entre la calle de Alcalá y la plaza de San Marcial, obra del arquitecto Carlos Velasco, que ofrecía tres alternativas para unir la calle de Alcalá, desde la iglesia de San José, con la actual plaza de España. El proyecto presentaba una avenida de 25 ó 30 metros de ancho con glorietas en los cruces con las calles más importantes. Este proyecto fue el origen de la zarzuela La Gran Vía, con música de Federico Chueca y libreto de Felipe Pérez y González. La obra, estrenada el 2 de julio de ese mismo año y que cosechó un gran éxito, recoge el sentir popular sobre la transformación que suponía la construcción de la nueva vía. El proyecto tampoco se llevó a cabo por la oposición los vecinos, la falta de presupuesto y la muerte de Velasco en 1888. Como dato curioso, aunque ya presente en otras calles similares de ciudades europeas, se puede señalar que Velasco propuso pavimentar la calzada con madera.

En 1897 los arquitectos municipales José López Salaberry y Francisco Octavio Palacios fueron encargados de hacer un nuevo proyecto y en 1899 presentaron su Proyecto de reforma de prolongación de la calle de Preciados y enlace de la plaza del Callao con la calle de Alcalá. Los herederos de Velasco les acusaron de copiar el proyecto de éste, pero la acusación fue desestimada, aprobándose el nuevo plan el 2 de julio de 1901. En él se proponía la realización de la obra dividiéndola en tres tramos: Avenida A (534 metros), desde la plaza de san Marcial (actual calle de los Reyes) hasta la de Callao; el Bulevar (409 metros), desde Callao hasta la Red de San Luis y Avenida B (417 metros), desde la Red de San Luis hasta la calle de Alcalá. La longitud total sería de 1.316 metros y el ancho de 25 metros, salvo el bulevar que tendría 35 metros.

Comenzaba así la que se convertiría en una de las mayores intervenciones urbanísticas del Madrid de la época. Con ella se lograría, según constaba en el proyecto, la comunicación directa entre los barrios de Argüelles y Salamanca; la descongestión de la Puerta del Sol; la desaparición de todo un cúmulo de calles estrechas y antihigiénicas y un más cómodo enlace entre las estaciones de Atocha y Príncipe Pío. Este proyecto
Comienzo del proyecto de obras fue aprobado el 21 de agosto de 1904. Sin embargo, los trabajos no comenzaron de inmediato debido a la oposición de los vecinos y comerciantes de la zona y a las dificultades financieras. En tres subastas sucesivas de obras, en 1905, 1906 y 1908, no hubo ningún postor, hasta que en 1909 se adjudicaron al banquero francés Martín Albert Silver por 29 millones de pesetas, firmándose la escritura el 19 de febrero de 1910 por el alcalde de la ciudad, José Francos Rodríguez.

Las obras comenzaron por fin el 4 de abril de 1910 , con la presencia del alcalde, José Francos Rodríguez, el presidente del gobierno, José Canalejas, y la familia real encabezada por el rey Alfonso XIII, lo cual da idea de la importancia que se dio a la obra en su época. La familia real se situó en una tribuna situada junto a la "Casa del Ataúd" (donde hoy está el Edificio Metrópolis) y adornada con tapices de la serie de la historia de Absalon de la Real Fábrica de Tapices. Además del rey, asistieron la Reina Madre, María Cristina, las infantas Isabel y María Teresa y el príncipe Adalberto de Baviera. También se dispusieron otras dos tribunas, una para miembros del Ayuntamiento y otra para el Cuerpo Diplomático, ambas adornadas con tapices de la serie de los Faetones.

A las once de la mañana llegó el rey acompañado de su esposa, Victoria Eugenia de Battenberg y, tras escuchar la Marcha Real y los discursos del alcalde y del presidente, descendió de la tribuna real, se dirigió a la casa del cura, anexa a la iglesia de San José, y comenzó su demolición con una piqueta de plata que le entregó Martín Silver. Los obreros comenzaron inmediatamente a trabajar. El primero de ellos se llamaba Álvaro Guadaño.

El proyecto de construcción contemplaba la demolición de gran cantidad de caserío, incluyendo varias iglesias, y la desaparición o transformación de numerosas calles. El área afectada sería de 142.647,03 m², que incluían 358 fincas y 48 calles, construyéndose 32 manzanas nuevas. Según los datos conservados, se demolieron 312 casas, se nivelaron 44 lotes de terreno, se desenlosaron 8.856 metros de aceras y se deshicieron 26.365 m² de empedrado y adoquinado y se quitaron 14.335 metros de cañerías de agua y de gas y 274 farolas. Para ello se transportaron y nivelaron 61.799 metros cúbicos de escombros y 31.997 de terraplenes. Posteriormente se enlosaron 18.777 m² de acera, se adoquinaron con granito 35.616 m² y se asfaltaron 11.373 m²; se construyeron 2.502 metros de alcantarillas y se canalizaron 1.315 metros para acometidas de agua, gas y electricidad, así como 7.024 metros de tubo de plomo. También se instalaron 174 sumideros de incendios y tomas de agua, 219 farolas a gas y 66 lámparas con candelabros.

Siguiendo el plan propuesto por Salaberry y Palacios, la construcción se llevó a cabo en tres etapas:

El primer tramo, entre la calle de Alcalá y la de Montera se realizó entre 1910 y 1915. El 28 de marzo de 1917 se comunicó oficialmente que las obras estaban acabadas, aunque la entrega definitiva se produjo el 18 de julio de 1924. Denominada en el proyecto Avenida B, recibió el nombre de calle del Conde Peñalver
Conde de Peñalver, en homenaje al alcalde que firmó el comienzo de las obras (hoy en día está denominación corresponde a otra calle de la ciudad).

Para su construcción se demolieron importantes edificios, como el colegio de Nuestra Señora de la Presentación (conocido popularmente como "de las Niñas de Leganés"), el Palacio Masserano, el Palacio del Sevillano o la llamada, por su estrechez, Casa del Ataúd, en la esquina con Alcalá.

En sustitución de las derribadas, se crearon seis nuevas manzanas, sobreviviendo sólo el oratorio del Caballero de Gracia, cuyo ábside, que quedó al descubierto al ser derruida la casa que lo tapaba, es hoy en día visible desde la Gran Vía.

También desapareció la calle de San Miguel, que sirvió de guía para la construcción de este primer tramo y que discurría por lo que hoy es la parte sur de la calzada de la actual avenida, y se modificaron otras nueve. En este tramo, todos los edificios construidos dedicaban sus primeras plantas a comercio y oficinas.

El Bulevar, entre la Red de San Luis y Callao, se realizó en los siguientes cuatro años, entre 1917 y 1922, aunque la entrega definitiva de obras fue el 20 de agosto de 1927. Se denominó avenida de Pi y Margall
Avenida de Pi y Margall, en recuerdo del que fuera presidente de la Primera República Española. Para la construcción de esta segunda fase se tuvieron que demoler 125 fincas y cuatro calles, transformándose otras trece. Entre ellas desapareció todo el tramo de la calle Jacometrezo que iba desde la plaza de Callao hasta la Red de San Luis, ya que su trazado sirvió de guía aproximada para la construcción de este segundo tramo.

En 1921, antes de finalizar las obras, se constató que el bulevar arbolado del proyecto original dificultaría el tráfico rodado, por lo que se decidió suprimirlo. Se construyeron en este tramo doce manzanas nuevas, una de las cuales alberga el Edificio Telefónica
Edificio Telefónica, que en su época fue el rascacielos más alto de Europa.

En 1922, Horacio de Echevarrieta y Mauri se hizo cargo de las obras de construcción de la Gran Vía, en sustitución de Martín Albert Silver.

El tercer tramo,entre las plazas de Callao y España, fue comenzado el 16 de febrero de 1925 y se terminó en 1929 aunque la entrega de obras fue el 22 de septiembre de 1932 y algunos edificios no se concluirían hasta después de la Guerra Civil. Se denominó en el proyecto Avenida A , aunque estaba pensado su nombre posterior de Avenida Eduardo Dato
Avenida Eduardo Dato, en homenaje al que fuera presidente del gobierno.

En un principio estaba proyectado que tuviera 25 metros de ancho, como la Avenida B, pero después se decidió ampliarlo a 35, como el bulevar. Fue el tramo de más difícil construcción de los tres, ya que al contrario de lo que ocurrió con los dos primeros y las calles de, respectivamente, San Miguel y Jacometrezo, en éste último no había ninguna vía que sirviera de guía, por lo que hubo que hacer numerosos desmontes y derribar muchas manzanas. Con su construcción desaparecieron diez antiguas calles y se reformaron otras nueve y tres plazas, entre ellas la de Leganitos, al final de su calle homónima y que daría lugar a la plaza de España. Otra dificultad añadida fue las numerosas reclamaciones interpuestas por los propietarios negándose a las expropiaciones.

El principal problema surgió a la raíz de la propuesta en 1926, por parte del concejal marqués de Encinares, para que este último tramo tuviera los mismos 35 metros de ancho que el primero. Al estar ya construido el Palacio de la Prensa (sobre la manzana 374 del tramo anterior), esto suponía que el ensanchamiento sólo podía hacerse por el sur, pero esto exigía la demolición de la Casa Profesa de la Compañía de Jesús, en la manzana 495 e inaugurada en 1901, a lo que los jesuitas se negaron. El expediente duró varios años, pero todo acabó cuando el 1 de mayo de 1931 un grupo de personas prendió fuego a la Casa Profesa. Esto, sumado a la disolución de la Compañía de Jesús a comienzos del siguiente año por el gobierno de la República, hizo que se archivara el caso y se continuasen las obras. Ya en los años cuarenta, tras el paréntesis de la Guerra Civil, se reformaría la plaza de España, colofón de la Gran Vía, aunque no forme, estrictamente hablando, parte de ella. La plaza albergaría posteriormente dos de los edificios más representativos de la ciudad: El Edificio España
Edificio España y la Torre de Madrid
La Torre de Madrid.