乐楼位于新绛县县城西部高垣，坐南向北。乐楼东、南、北均为道路，西侧与民居相连。其东侧路通至其台基下并经台基南北分为两条，南侧路至钟楼，北侧为七星坡，通至鼓楼。乐楼占地面积144.48平方米，建筑面积218平方米。

乐楼为绛州三楼之一。绛州三楼为钟楼、鼓楼、乐楼，三楼并峙，南北排列，在州衙东南，乐楼居中。绛州三楼于2001年并入绛州乐楼，为重点文物保护单位，三楼公布时代均为明代。

乐楼坐于石砌台基上，面阔五间，进深三间，筒瓦屋面，布瓦、布脊。主楼面阔三间，进深两椽，二层结构，悬山顶，一层东、西、北三面围廊。主楼明间北出抱厦一间，亦二层结构，一层前出廊，单檐悬山顶，二层为歇山顶。

主楼用通柱十根，明间梁架为三架梁通搭前后，通檐用两柱。前檐明柱柱中用楞木作为纵向联系，柱头无额枋，而是将额枋上移至第一层平板枋间。前檐明柱头上用两层十字相交的平板枋，第一层南北走向，为抱厦之平板枋，第二层东西走向，与主楼次间平板枋同高。主楼角柱用额枋、平板枋，其额枋于明柱处与第一层平板枋相接。主楼前檐明柱第二层平板枋上承三架梁，后檐明柱直抵三架梁下。三架梁上设脊瓜柱，柱头上施横垫板、大斗，上承短通替及脊檩。两山梁架为前后单步梁，通檐用三柱，其中柱直抵脊檩。主楼一、二层次间均辟直棂窗。

主楼一层东、西、北三面围廊。廊柱头施额枋、平板枋。围廊用斗栱三种：柱头科，平身科及角科。平身科只用在前檐，而两山未用。平身科三踩单翘，耍头呈麻叶头状里转蚂蚱头后尾。柱头科三踩单翘，蚂蚱头形耍头里转蝉肚形后尾，挑尖梁头作麻叶状，后尾插入主楼檐柱或山柱内。角科三踩单翘，45°翘头用平面呈圆形的异形平盘斗，上承龙形耍头。围廊采用插金角梁做法，翼角生出410mm，起翘520mm。

抱厦前檐柱与主楼前檐两明柱同高，柱头施额枋、平板枋。前檐施平身科一攒，不出踩，大斗上出三个龙头（45°两个）。转角不用斗栱，只出45°龙头承接通替及檐檩。抱厦使用抹角梁，其上施驼峰承托角梁，角梁施横垫板、大斗，上承搭交金檩。搭交金檩上施驼峰，驼峰上施横垫板，上承通替及脊檩。