上海铁路博物馆大楼是在上海老北站原址上改建的，于2001年12月动工，将原二层站房拆除，恢复1909年时建造样式的四层大楼（略有缩小），2003年4月建成。2004年8月上海铁路博物馆正式成立并对外开放接待观众参观。

　　上海铁路博物馆大楼共4层。底层为展区，面积约1000m2；2楼设机动展区，约300 m2；室外展区约1300 m2。室内外展区共约2600 m2。

　　整个基本陈列分为6个部分，有50余个展项，近千件展品，由序厅、铁路建设、铁路运输、铁路天地、今后几年的跨越式发展、老车站场景（室外展区）组成。

　　序厅是按照1909年时拍摄的照片进行仿制、复原的，顶部阴角线脚、护墙板、门窗、售票亭、吊灯等都和老北站原来的布置相差无几，让观众一进入大厅如同进入当时的老北站。

　　大厅东入口处两边各用铜雕画装饰，这是铁路职工根据历史图片自行制作的铜雕画，画中栩栩如生地描绘了淞沪铁路通车的情景和铁路早期的部分设施、设备。铜雕画与老式楼梯相辉映，形成浓厚的古色古香的格调。

　　博物馆室外展区按照有关资料的记载，设计了一个早期铁路火车站的场景。月台雨棚是木结构的，现难觅其踪影。经艺术处理后的整座雨棚更显得饱经岁月沧桑，一进入观众的视线，一种浓浓怀旧情怀油然而生。

　　吴淞铁路是中国大地上出现的第一条营业铁路，“先导号”是吴淞铁路第一台机车。为突出她的历史地位，设计时参考了历史照片，以1：1的比例制作了机车模型，并配以平面照片人像等，组合成场景，重现了历史风采。

　　上海铁路在战争中屡遭破坏，尤其是日本侵华战争对铁路的破坏更为严重。为让广大观众记住民族的耻辱，突出展示日军轰炸上海铁路的历史录像片及历史照片,用TV多媒体循环播放当年比利时战地记者实地拍摄的日本侵略军轰炸上海铁路车站的录像片,震撼了中外观众的心灵。

　　钱塘大桥是著名桥梁专家茅以升主持建造的我国第一座铁路、公路两用大桥，铁路博物馆在民国时期的铁路展区用了较大版面突出展出了这部分内容。在表现形式上，将展板外框设计成大桥桥梁的形状，让人们仿佛亲眼目睹钱塘江铁路大桥的风姿并联想到大桥的辛酸历史。

　　展厅内用大量的实物和图片反映了中华人民共和国建国后铁路建设所取得的辉煌成就。在灯箱、图表、图片中可以一目了然地看出建国后上海和华东地区不同时期和不同阶段兴修的铁路线路状况和运营里程及其发展规划；在展出的实物中着重运用新旧对比的手法，使人们通过铁路设备设施的升级换代和不断改善来深刻体会铁路的巨大变化；在TV多媒体和大屏投影中能直观地看出铁路的飞跃发展的实景及未来铁路跨越式发展的蓝图；充分反映了中国清末铁路的耻辱和无奈，民国铁路的辛酸和劫难，新中国铁路发展和成就。

　　上海铁路博物馆的基本陈列，叙述了上海及华东铁路百余年的发展历程，勾勒出铁路生产力发展的脉络，从而揭示了铁路这架大联动机的奥秘。

　　为克服室内展区面积小不能满足展出大量内容需要的不足，充分运用现代科技手段，将上千万字的文字资料和数千张图片及影视短片输入触摸屏内，共制作7套计10台触摸屏，满足了观众进一步了解学习铁路科技知识的需要。触摸屏存储的内容非常丰富，包括铁路现状、历史、常识、趣闻、博览以及铁道概论等知识，还有4套计800题有奖知识竞赛题，得到了广大观众尤其是青少年学生的积极参与。

　　一列庞大的列车，如何驶上浮动的渡轮、渡轮如何保持平衡、平稳等问题，引起喜爱思考的观众的兴趣。铁路轮渡多媒体演示台就是为观众揭开这些谜底的。它能演示栈桥升降、渡轮靠岸、调车作业、船体平衡调整等，并能互动，让观众在参与中获得知识和乐趣，在铁路知识领域的徜徉中获取信息和知识。

　　蒸汽机车走行部是机车最具震撼力的部分，制作1：1机车动轮模型，并配火车开行的模拟声，像真火车一样运转，既能让广大观众了解蒸汽机车工作原理，又能让人们感受蒸汽机车的威力和气势，备受观众的喜爱。

　　铁路编组站是铁路运输的重要生产基地，驼峰调车编组作业是铁路运输生产的重要环节。驼峰编组作业多媒体演示台，把占地广阔的编组站“搬进”展馆，在虚拟的世界中，让观众较为直观地了解编组站的工作流程，体验身临其境的感受。这套设备能演示编组站列车的到达、推峰、解体、缓行、溜放等，并具有互动功能，观众通过操作可了解编组作业的简要过程。

　　机车仿真操作台这一设备不仅能模拟机车的全部性能和驾驶效果，而且还能模拟机车运行的周围环境(如线路视景、声响环境)，仿真度较高。观众可上机体验当司机的感觉。从结构上讲，整体上它是一台先进的东风11G型机车，内部又巧妙地套装了一个驾驶室，浑然成为一体。许多观众乘车以后都有共同的感觉：不虚此行。