Izraz skoval britanski arhitekturne kritik Reyner Banham opisati pristop za stavbe, zlasti povezana z arhitekti Peter in Alison Smithson v petdesetih in šestdesetih let. Izraz izvira iz uporabe pionir sodobne arhitekt in slikar Le Corbusier "beton brut" — surovo betona v francoščini. Banham je dal francoske besede punning twist izraziti splošne grozo, s katero je bila ta konkretni arhitektura pozdravili v Veliki Britaniji. Značilni primeri brutalizem so Hayward Galerija in narodno gledališče na London's South Bank. Izraz brutalizem včasih je bila uporabljena za opis dela pod vplivom Art Brut umetnikov.