Begreb opfundet af den britiske arkitektoniske kritiker Reyner Banham til at beskrive metoden til bygning specielt forbundet med arkitekterne Peter og Alison Smithson i 1950erne og 1960s. Udtrykket stammer fra brugen af pioneer moderne arkitekt og maler Le Corbusier af 'beton brut' — rå beton på fransk. Banham gav den franske ord et punning twist til at udtrykke den generelle horror som denne konkrete arkitektur blev mødt i Storbritannien. Typiske eksempler på brutalisme er Hayward Gallery og National Theatre i Londons South Bank. Udtrykket brutalisme er undertiden blevet brugt til at beskrive værker af kunstnere påvirket af Art Brut.