Первый музыкальный опыт Легран получил у своего отца Раймонда Леграна, руководителя одного из оркестров варьете. Мама Леграна — Айкануш-Марсель Тер-Микаелян, была пианисткой, был знаком с Эдит Пиаф и Морисом Шевалье. В 1952 году заканчивает парижскую консерваторию и отправляется в турне по США.
С конца 50-х годов начинает писать музыку к голливудским фильмам, которая приносит ему мировую славу. Самое известное его произведение — музыка к фильму «Шербурские зонтики» (1964 год, с Катрин Денёв в главной роли). 12 раз награждён премией Оскар, три раза премией Сезар и 12 раз Золотым Глобусом. Автор музыки к 200 фильмам.
Как джазовый пианист работает с Джанго Рейнхардом и Биксом Бейдербеком. В 1958 году записал альбом с Дональдом Бирдом, Джоном Колтрейном и Беном Вебстером. В 1978 году записал альбом «Le Jazz Grand», в 1991 — «Dingo», за что удостоился премии Грэмми.
Параллельно выступает как дирижёр и пианист классической музыки. После концерта в парижской «Олимпии» в 1991 году, неоднократно выступал с Тамарой Гвердцители, писал для неё музыку.