1949年春，上海已处在解放军的包围中，每天都能听到隆隆的炮声。5月27日晚，原本纷乱的上海突然没有了炮声，只有一些零星的枪声。第二天清晨，张玉泉从二层楼的北窗往外看去，在人行道上睡满了士兵。此时，人们意识到上海已解放了。这些奋勇作战的解放军将士，为了不惊动上海老百姓，风餐露宿在街头，在上海马路上度过了第一个夜晚。这也是留守在上海的张玉泉对共产党的第一印象。

“建筑艺术是有深远意义的。建筑创作是一种继承和发扬前人的经验，有很多东西是可以继承的。我们主要搞工厂设计创作，要符合国情，要以严肃认真的精神，才能创出新路。工业建筑个性有别于民用建筑，有别于欧美、俄罗斯风格，不能穿靴戴帽搞古典，也有别于因陋就简的干打垒。”——张玉泉手记

 1950年8月，为了响应政府“公私合营”的号召，“大地建筑师事务所”宣告停业。张玉泉临时受聘于上海市人民政府任建筑师，参加某工业部子弟小学的方案设计。1951年2月，经中大同学朱栋介绍，张玉泉任华东工业部华东建筑工程公司设计组建筑工程师。1952年6月，建筑工程公司设计组演变成华东建筑设计公司，1952年12月改为一机部华东土建设计公司。这一时期，张玉泉设计了上海虬江机器厂、上海工具厂、上海灯泡厂、铜官山大礼堂、九龙岗邮局、上海财经学校、东北高机职校、上海沪东造船厂、上海船舶技工学校、富拉尔基技工学校。

由于业务的关系，张玉泉经常来往于京沪之间。当时受领导委托，她趁到北京出差的机会为一机部华东土建设计公司在北京寻找建院新址。张玉泉曾去北京都市规划委员会请教了梁思成先生，了解北京城市总体规划的情况。梁先生告诉她，北京东郊将来是工业区，西郊是文化区。张玉泉当即选定西郊阜外甘家口黄瓜园地区作为华东土建设计公司的迁京新址。公司随即组织人员进行规划设计。

1954年4月，一机部华东土建设计公司迁京。1955年，一机部华东土建设计公司、太原重型机器设计处、长春汽车厂基建处部分设计人员一起调到一机部第一设计分局，1957年改为一机部第一设计院，张玉泉被任命为建筑室主任建筑师，被评为四级高级工程师。

1955年8月26日，国家建委翻译出版了苏联《建筑法规》，其中规定了许多设计原则和标准。建筑工业部也于1955年出版了《建筑设计规范》。张玉泉依据这些基本规范，结合工厂设计实践，曾在院领导干部业务学习会和北京土木建筑技术交流会上作了有关工业建筑和建筑师任务的业务讲座。以后又在技术刊物上发表了《关于机械工厂的防火设计问题》，着重研究了机械工厂的防火设计。

四川德阳重型机器厂(简称“二重”)是继前苏联专家援助设计的“一重”厂之后，我国自行设计的大型重型机械工厂。张玉泉作为该工程的总建筑师，使她有机会施展才华，更使她高兴的是，有机会为家乡的建设贡献一份力量。该工程是设计院的重点，也是国家的重点工程。部、院领导亲自临场指挥，组织工作队去现场。在领导的支持下，张玉泉充分发挥了她作为总建筑师的作用。

原机械部设计院高级建筑师汪明清在《怀念五十年代的张玉泉建筑师》一文中回忆道：“张玉泉是当时国内最大工厂——德阳重机厂的建筑总设计师，建筑形式和风格如何设计是一个难于定夺的问题，假如这个工厂能设计成功，将树起一种风格，成为我院设计的样板，甚至会成为国内工厂建筑设计的主调，将成为建筑史上的重要一页。在张工的主持下,开展了一次院内外的设计竞赛，共征得了44个建筑方案，在筛选的大辩论中，唇枪舌剑，各抒己见。张工主持这项活动，表现出她对建筑专业高超的技艺，必要时动口后还要动手做比较，体现出她对中华民族优秀文化的认知和历史知识的娴熟。有时她要循循善诱，深入浅出地比喻，必要时还要针锋相对不退不让。张工明确提出德阳重机厂的建筑理念是工业建筑个性有别于民用建筑，有别于欧美、俄罗斯风格，不能穿靴戴帽搞古典，也有别于因陋就简的干打垒……还提出了一系列政策式的条例：该高则高，该低则低，区别对待，重点突出，主次分明……一定要使德阳厂的建筑设计是当代气宇非凡，雄浑壮观，形式和内容统一的现代化大工厂风范。在辩论中遴选出4个方案，又由她选优以极大的综合能力归纳为一个方案。这个方案朴素大方，尺寸合适，虚实相间，比例配合适当，明快端庄，没有多余的虚饰、线角，在当时的建筑材料和施工水平条件下，发挥了建筑设计所能做到的极致。”

1954～1976年中，张玉泉主要负责建筑设计的厂项有：大连机车厂、齐齐哈尔车辆厂、兰州化工厂改建、株洲车辆厂、长沙矿山机械厂等。另外，由她建筑总负责兼规划设计的工程项目除了第二重型机械厂外，还有北京二通机械厂、天津铸造厂及广东某石油公司等几十个大中型厂矿的全套设计。