Jean de Montfort, prétendant au duché de Bretagne, s'allia avec Édouard III, roi d'Angleterre, qui s'empara de Brest en 1342. La cité ne réintégra le duché qu'en 1397, malgré de nombreux sièges, dont celui de Du Guesclin qui ne put la prendre en 1373.

Brest fut définitivement rattachée à la couronne de France avec l'ensemble du duché en 1532. Au cours des évènements de la Ligue, le duc de Mercœur, gouverneur de Bretagne en 1588, rechercha sans succès l'appui de Philippe II d'Espagne, qui dépêcha des troupes sur les rives du goulet (site actuel de la Pointe des Espagnols). Le 31 décembre 1593, Henri IV dota Brest du titre de Ville.

En 1631, Richelieu créa le port et les arsenaux que Colbert, Duquesne et l'intendant Du Seuil agrandirent. À partir de 1683, Vauban fortifia la ville. Au XVIII^e siècle l'ingénieur brestois Choquet de Lindu dirigea les travaux du port et, en 1750, bâtit le bagne de Brest qui ne sera désaffecté qu'au milieu du XIX^e siècle. L'École navale fut créée à Brest en 1830.

Le développement de la ville reprit sous le Second Empire. En 1856, Napoléon III autorisa la création d'un pont sur la Penfeld; il fit agrandir l'arsenal, prolongea deux lignes de chemin de fer jusqu'à Brest, et créa le port de commerce. L'empereur et l'impératrice séjournèrent à Brest du 9 au 12 août 1858. Le port et l'arsenal de Laninon furent créés en 1869.

Brest resta un grand port d'armement jusqu'à la Seconde Guerre mondiale. Avant l'arrivée de l'armée allemande à Brest (le 19 juin 1940), les ponts et les installations vitales du port furent mis hors de service. Les Allemands reconstruisirent ce qui avait été détruit et transformèrent Brest en port de réparation de navires de guerre et en base sous-marine. Après 165 bombardements et un siège de 43 jours, la ville fut quasi détruite.

Le cours Dajot, jardin suspendu situé sur les remparts édifiés par Vauban en 1683, fut dessiné par l'ingénieur Dajot, officier du Génie et élève de Vauban.