方山是昌乐境内第一名山。据《昌乐县续志·山川》载：“其山横亘顶平如砥四望皆方故名”。山体雄伟，平原突起，巍巍壮观。东携白浪，西镇丹水，北映孤山，南望汶河。大有主宰一方天地之气慨。山上植被丰茂，景色优美，钟灵毓秀，气象万千，实乃一邑之胜。方山又是一座宝山，享誉中外，名闻遐迩的昌乐蓝宝石盛产于此，是人们旅游探宝的绝妙去处。方山是桂河、于河、小丹河三水之源头。水乃生命之源，有水就有生命。所以，方山又是一座生命山。早在3500年前，先祖爽鸠氏部落就在此繁衍生息，是华夏古文明最早的发祥地之一。据方山庙《柏树碑记》载，方山原有松柏1500余株，其中元柏至今已历700余载。不知是当初植树乡民们别出心裁，还是庙内僧众暗藏玄机，将这1500余株松柏，规则地排列成一个硕大的“寿”字，原来方山还是一座寿山，真是匠心独运，令人叹为观止。 昌乐城南20里有一座方山，山西坡的半山腰间有一座庙。庙内外石碑林立，古树参天，紫薇丛生，青藤绕槐。院内有一山泉，终年清澈，步云桥下，水流潺潺，此处景色宜人，堪称一邑之胜。大殿内雕梁画栋，正面有一尊身着官服的金面神像，这就是当地群众称颂的“方山爷”。
传说很早以前，昌乐城营建之初，有四座拱形城门。因西门外党年闹鬼，直闹得百姓日夜不得安宁，几任县令又人妖不分，面姓无奈，只好将西门严严实实地堵了起来。 明朝洪武年间，有一湖广武冈人氏，姓于名子仁字景安的，长得眉清目秀，仪表非凡，才华出众又刚直不阿。十载寒窗，后来进应变中了进士，放七品县令。在奉旨来昌乐赴任途中，路过一个山村，见天色已晚，就在村头一位老人家里过夜。两人一见如故，言谈投机。老人对于子仁说：“这些下官亦有耳闻，此去上任，有意力除恶鬼，为民造福，还请老人家多多指教……”。老人欣然，两人一直谈到二列才各自安歇。第二天早晨，老人拄着拐杖把子仁送到村头上说：“你此番上任，要多加小心，我这里有一拐杖，一可助你路上自卫，二可在紧要关头，助你一臂之力。”说罢将拐杖送与子仁。子仁连忙拜受登程。 子仁上任不久，就在古历六月二十七日这天，携了拐杖，带了衙役绕城巡视，见南、东、北三座城门大开着，人来车往有买有卖。唯独西门砖砌严堵，街头巷尾冷冷清清。子仁便问其故，衙役们说：“老爷有所不知，因西门我常年闹鬼蹂躏百姓，前几任老爷有的被恶鬼缠身丧命，有的怕鬼弃官而走，百姓为了提防闹鬼，才将西门堵了起来。”子仁听罢直摇头：“我却不信。”衙役们说：“老爷如若不信，登城可见。”于是子仁登城向西眺望，果见白骨成堆，蒿草丛中荒冢一片，子仁自言自语地说：“世间从来邪不压正，走得正站得直，何惧恶鬼！”当即令手下拆砖开门。众人无可奈何，只好从命。 门一打开，果然妖雾顿起，扶摇直上，霎时搅得满城天昏地暗，恶鬼们一个个张牙舞爪，气热汹汹地朝西门蜂拥而来。众衙役们一见毛骨悚然，抱头鼠窜，唯子仁不惧，执拐杖立于门前。恶鬼见县官头顶金光四射，又有无数神兵各执刀枪立于身后，一个个吓得战战兢兢。子仁高举拐杖大喝一声，真个声似雷鸣，随手将拐杖抡起，手中拐杖立刻变成了一支金光闪闪的鞭子。一鞭子下去，恶鬼死伤过半，余者见进城不得，又入土不及，就拉帮结伙地寻路南逃，一直逃到方山，赶到了洞口，恶鬼见不能逃脱，就在洞内大喊大叫：“我等千年不出，看你怎奈我何？”子仁斩钉截铁地说：“尔等千年不也，我就万年不动，看尔等还能糟蹋百姓否！”随即搬了一块大石头盖住洞口执鞭端坐石上，为民除害的县令于子仁也坐化在石头上。
真是：清廉养得正气在，官清黎民自得安。从此以后，昌乐城内才太平无事了。 后来，百姓念其为民除害造福，聚资在于子仁的坐化处建了一座庙，塑了金身，把于子仁尊称“方山爷”。直到现在，每逢古历六月二十七日这天，方圆几十里的百姓还带头供品，络绎不绝地来到方山赶庙会，虔诚地祭奠这位民为除害的县太爷。
建庙之初，正殿内有两尊塑像，其中一尊为木制的，体内设有机关，可以起坐。百姓遇到什么大事，就将木制的塑像抬到山下供奉。当地有一句歇后语，叫“方山爷赶边下——一溜下碴”。可见方山爷真的能够下山。文化大革命前，部队在山上施工打坑道，战士们就住在正殿。那年夏天，一个战士挂蚊帐时，不小心碰到方山爷身上，结果方山爷呼地站了起来。在场的官兵不知内情，可把战士给吓坏了。那时庙里还有和尚，闻讯赶来，按动机关，方山爷这才坐下。可惜这一文物，已毁于十年浩劫之中。
