На месте нынешнего Ярославского вокзала с конца XVII в. находился Новый полевой артиллерийский двор — завод и склад пушек и снарядов, со многими деревянными строениями. Артиллерийский двор располагался на земле ямщиков Переяславской ямской слободы и занимал около 20 га. Мимо него пролегала дорога на Красное село и дальше на восток. В 1812 году Новый артиллерийский двор сгорел от взрыва находившихся там снарядов (взрыв потряс дома всей восточной части Москвы).

В 1862 году между Красным прудом и Николаевский вокзалом (сейчас Ленинградский) был построен маленький железнодорожный вокзал Ярославской железной дороги, поезда которого до 1870 года ходили лишь до Сергиева Посада. Это была дорога длиной в 65 вёрст (69 км).

В 1902—1904 Ф.О. Шехтелем построено новое здание жд вокзала в неорусском стиле. Воспользовавшись характерным для древнерусского зодчества принципом соединения в одно целое разнообразных по формам и масштабу построек, архитектор выделил объём главного пассажирского зала, соединённого с вестибюлем и аванзалом и обеспечивающего прямой проход к перронам. В наружном оформлении вестибюля использованы пластически акцентированные формы гигантской входной арки, килевидного козырька над ней, обрамляющих её полукруглых пилонов со стилизованными крепостными башенками, высокой «теремной кровли» с подзором и венчающим гребнем, делающими облик здания неповторимо причудливым. Вертикальному силуэту вестибюля вторит высокая левая башня с шатровым завершением. Верхнюю часть стен украшают керамические декоративные панно со стилизованными растительными орнаментами приглушённых тонов, соответствующих общему неяркому цветовому решению фасадов, которое должно было рождать ассоциативные связи с образом русского Севера.

Перрон Ярославского вокзала построен в 1910-х годах по проекту Л.Н. Кекушева. При реконструкции вокзала в 1965—1966 годах со стороны перрона пристроено помещение со сплошной стеклянной стеной.

В 1995 году закончилась вторая реконструкция ж/д вокзала, целью которой являлось расширение площади для пассажиров, улучшение обслуживания в связи с возросшими пассажиропотоками. В результате перепланировки внутренних помещений высвободилась площадь, позволяющая увеличить в два раза число обслуживаемых пассажиров, более удобно расположены 35 билетных жд касс, для чего кассовый зал вынесен на первый этаж, а освободившаяся площадь (1,5 тыс. кв.м) переоборудована под зал ожидания; отремонтированы галерея, колонный зал; заново отделан потолок, смонтированы автоматические средства пожаротушения, электронная информационная система.