1950年3月，铁道部唐山铁道技术研究所迁入北京，所属的土木研究组由原在北京和由大连迁京的专业人员组成，并逐步扩建成为6个专业研究组，成为铁建所的前身。
1958年1月，铁建所正式成立，设有铁路设计、线路、桥梁、路基土工、混凝土、隧道、水工水文、木材、养路机械化、爆破、抗震和防护工程等12个研究室，建成各类实验室10个，其中5个具有当时国内一流水平。全所由早期的数十人增至400余人，成为专业齐全、设备配套、技术力量雄厚，与铁路建设和运营联系密切，在路内、外颇具影响力的专业研究所。
1985年1月，按照铁科院统一部署，铁建所开始科技体制改革，其后几年，先后组建了爆破公司、路通公司、铁锋公司和深圳办事处等技术经济实体。1987年筹建的铁建所深圳办事处，是铁科院深圳分院前身。
2002年4月，随着铁科院转企改制，铁建所由事业单位转制为院属二级科技型企业。搭建产业标杆，加速成果转化，在大量科技创新成果的基础上，铁建所逐步走出一条产业化和工程化的道路。
2004年10月，成立铁科检测有限公司，是从事建设工程检测、监测、评估和技术研究的高新技术企业，业务范围涉及铁路、公路、市政、轨道交通各大领域，包括路基、桥梁及结构、隧道、轨道、工程材料、爆破振动、地质灾害等工程检（监）测、评估、加固设计与咨询等。
2006年10月，组建北京铁科首钢轨道技术股份有限公司，形成了铁路工务核心配件产品的产业化平台，为客户提供成套的解决方案。产品主要包括扣件系统、桥梁支座、高分子材料、铁路无砟轨道板用预应力钢丝、系列复合材料产品、铁路隧道新型塑料防排水板及自粘式橡胶止水带等。
2015年6月，控股重组铁科（北京）轨道装备技术有限公司，具有世界道岔行业最长的单体加工车间（680米）和先进的生产装备，主要开展道岔产品的创新研发及成果转化工作，从事普速、提速、高速、重载及城市轨道等全系列道岔的研发和规模化生产；具有包括高速铁路在内的全系列道岔产品生产资质。
2016年3月，组建北京铁科特种工程技术有限公司，是我国铁路工务和土木工程领域设计施工一体化的高新技术型企业，主要从事铁路工务工程监测评估咨询、设计、施工、评估验收一站式服务，拥有高速铁路、重载铁路和普速铁路基础设施领域的特种工程施工成套技术。
2019年6月， 2#科研业务用房竣工并投入使用，铁建所搬入新办公楼，工作环境大幅提升。