在平远老县城仁居镇的东门河畔，明代“青云”古桥旁，有一幢中西合璧式的三层楼房。它就是抗日战争时期，广东省中央银行、中国银行、交通银行、农民银行及韶关分行的金库旧址。2010年被列为广东省文物保护单位。
为什么当时多家银行金库会搬迁到这座粤、闽、赣三省边陲大山之中的偏僻小山城呢？这里有一段可悲的历史。
据当时任平远县县长秦庆钧主持编撰的《抗日战争最后阶段——广东省政府迁到平远的史料》（《平远文史》第二辑，1987年）一文和有关资料记载：1938年，侵华日寇猖狂进犯，大片国土沦陷。是年10月12日，日寇在广东大亚湾登陆，随即其机械化部队向广州逼近。广东省国民政府仓皇撤退至连县，省保安司令部亦退驻于曲江、韶关，省会广州弃守；10月21日广州沦陷；1939年1月，李汉魂就任广东省政府主席后，认为连县交通不便，施政困难，遂于2月迁至曲江之黄冈办公。
1939年6月，日寇又从汕头登陆，攻占汕头，潮揭各县亦被占领，大批难民涌向梅州、赣南躲避战乱。1944年5月，入侵湘北的日寇向湘南推进，国民党军队则节节败退，8月湖南衡阳沦陷。日寇循粤汉铁路南进，企图打通全线。在这严峻形势下，迁于曲江的省府机关不得不又东迁至龙川，其所属机关人员则分别陆续迁往和平、犁咀、平远等地。
1944年12月，曲江沦陷，潮汕之日寇亦开始北犯，及于丰顺县之汤坑，龙川亦受威胁。期间，李汉魂两次到平远视察，决定把省府东迁至平远。因为平远地处粤、闽、赣三省交界，群山叠嶂，在战略上可攻可守，万一顶不住，还可以退往赣南或福建武夷山。至1945年5月5日，省府所属机关全部搬迁至平远，寂寞的山城顿时熙来攘往、人潮涌涌。
省府办公机关分散安排在平远的大柘、坝头、东石等乡村，省高等法院、检察院、抚恤处及政府职员家属安置在县城仁居。同时，省中央、中国、交通、农民四大银行，韶关分行及实业公司等经贸单位亦安置在县城仁居。由于多家金融单位在仁居，故特征用仁居东门街一幢叫“芹楼”的楼房作临时金库?！扒勐ァ笔且厝死枳忧塾诿窆?5年（1936）兴建的民宅。经改造，加建地下贮金室（至今保存完好），地下贮金室面积约五六十平方米。钢筋混凝土的墙体厚度为0.7米，分内外两层，内层为钢筋混凝土，中间夹沙，外层由实心砖块打造。35厘米厚的保险铁门，安装两个形状奇特，带有护盖的保险锁。将广州辗转运来的金条、银圆、美钞、港币等储藏于地下贮金室。金库坚固的墙体，加上荷枪实弹的重兵把守，可谓万无一失、固若金汤。直至1945年8月14日，日本无条件投降后，从当年9月底开始，省府各机关人员、物资及金银钞票等才陆续迁运广州。从1945年5月5日至9月底，平远县为战时临时省会共计时间5个月。
新中国成立后，人民政府在金库大楼设立中国人民银行平远支行仁居营业所至1998年。金库大楼成为抗日战争后期平远曾为广东省临时省会的见证。2002年，该楼由平远旅游局购得，修整为金库博物馆，供人们参观和追思，让人们记住抗日战争时期政局飘摇、社会动荡、民众流离失所的那段悲惨历史。
