族是三国时曹魏重臣苏则之后，其父苏绰，为西魏名臣，他本人是北周宗室权臣宇文护的女婿。杨坚为北周丞相时，就很重视他。后来隋朝建立，他被杨坚拜为太常卿、太子少保，追赠他的父亲为邳国公，食邑三千户，让他承袭；不久又让他兼任纳言、吏部尚书，再之后，他又兼任大理卿、京兆尹、御史大夫，这几个职务，皆权重之职，他一人兼之，既是杨坚对他的信任，也是其才干的体现。开皇三年，杨坚再次命令朝臣修订法律，法令的标准、样式等，大多就出由苏威制定。整个杨坚一朝，他都位高权重，影响力遍及朝野。
杨广继位后，对他依旧重用。大业初，他与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，号为“五贵”，权倾朝野，声望显赫。
宇文化及作乱，弑杀了杨广后，对苏威这位老臣甚是礼重，拜他为光禄大夫、开府仪同三司。苏威因跟从宇文化及离开江都，亦来了山东、河北。他没有将才，年纪也大，快八十岁了，是故没有在黎阳军中，被宇文化及留在了东郡。王轨是东郡地主，与他颇有来往。
高延霸不知苏威是谁，听屈突通简单介绍后，摸着嘴，诧异说道：“一个老翁，名中即便带个威，又能有甚威风？纵大王得了他的投从，又能如何？凭他，就壮我军威，能多一分胜算？”