1954年其妻美和子自杀,此后20年一直独身,1974年与比他小37岁的阿部优子结婚,成为一时话题。
1929年加入艺术界,开始演出一些舞台剧并参加左翼剧团的创建工作。1934年初次参加《樱花集团舞》一片,此后几年中,以小泽荣之艺名活跃于舞台,1942年进入松竹太秦摄影所,先后参演田坂具隆导演的《母子草》,木下惠介导演的第一部影片《鲜花盛开的港口》等片,其轻妙洒脱的表演很受人欢迎。1946年与杉村春子合演木下导演的《大曾根家的早晨》,在片中成功的扮演了一个军官,此片获得当年《电影旬报》最佳影片奖,他也获得第一届电影旬报演技奖。继而又演出黑泽明执导的《丑闻》,沟口健二导演的《雨月物语》、《近松物语》等片;皆是其代表作品,晚年主要作品有山本萨夫导演的《华丽的家族》、《不毛地带》等。1976年以70高龄在市川昆导演的《犬神家一族》中扮演一名辩护律师,依然才气焕发。平生参演作品200部以上,主演的约有20部,是日本影坛自40年代以来很有影响的演技派明星。另著有《演出记录》等书。