宋代的民間私祭不像官紳的規模宏大，平民百姓大多在正廳設置祖先牌位，而士大夫與富家則專設房間懸掛祖先圖像，名為「影堂」。影堂是民間私祭中出現的一種獨立祭祀場所，是廟祭與寢祭之間的過渡形態，又稱「家祠堂」，為明清時代祠堂的前身。南宋末年，朱熹反對稱「家廟」，認為稱「祠堂」作為一般民眾的祭祖場所較為合適，主張民間可以在正寢之東建立祭祖的祠堂，以滿足人們尊祖敬宗之心。《朱子家禮‧祭禮》記載：「主人盛服立於祠堂中門外，西向。」朱熹的主張對後來祠堂的湧現起到很大的推動作用。
明初，朝廷對於民間私祭是否合法沒有明確立場。直至嘉靖十五年（1536年），朝廷才下詔批准民間建祠，在同一地方，或家族，或村落等，同姓家庭共同建立祠堂，從這時起祠堂遍及社會每一角落，宗法規制得到進一步加強。
祭祀方式
祠堂的祭祀活動，可以分為常祭、専祭、特祭、大祭等多種類型。常祭是一般的常規祭祀，每月初一、十五舉行，規模不大，每個家庭只要求家長參與。專祭是對特定祖先的祭祀。特祭是指族人因婚娶、添丁、考取功名、升官晉爵等喜事而入祠祭祀。大祭是宗族的合族大祭，也是祠祭中最重要的祭祀活動，族人都必須參加，無故缺席者要受到懲處，如《宜興蓧里任氏宗譜》規定，祭祖遲到者罰銀一錢，無故不到者罰銀三錢，管事人員不到者罰銀五錢，這體現了族人祭祖的義務。大祭每年要定期舉行數次，時間大多在歲首、春分、清明、中元、中秋、秋分、立冬、冬至、除夕等歲時節日，其中春秋兩祭最為隆重。
祭祀是有程序的，祭品的備辦、祭器的洗濯，以至所有上供的用品，都必須由子弟、媳婦操辦，不能假手於傭人，這是為了表達子孫祭祖的虔敬態度。祭祀過程中，將所有供品上供後，會安排禱告司禮唱禮，然後眾人行禮。祀祭完成後，族人將祭品撤下，須分給全族享用。古人認為把祖先享用過的食物，給予子孫分享，能讓子孫承受祖先的福蔭，並且獲得祖先的庇祐。