Termen myntades av den brittiska Arkitekturkritikern Reyner Banham att beskriva metoden till byggnad särskilt samband med arkitekterna Peter och Alison Smithson i 1950- och 1960-talet. Benämna påbörjar från användning av pioneer modern arkitekt och målare Le Corbusier av 'beton brut' — rå betong på franska. Banham gav det franska ordet en punning twist att uttrycka den allmänna fasa som denna konkreta arkitektur möttes i Storbritannien. Typiska exempel på Brutalism är Hayward Gallery och National Theatre i London South Bank. Begreppet brutalism har ibland använts för att beskriva verk av konstnärer som påverkas av Art Brut.