教育部一直沒有自己的大樓，有著歷史因素，原來民國38年政府遷台，中央政府以隨時要反攻大陸為由，不准興建大樓，而為了宣導教育部的活動規劃，穿堂原本刻了孔子行教圖，但是教育部卻用三合版遮住，讓孔子不見天日。
教育部的金字招牌，繼部長杜正勝之後成為話題焦點，因為這3個字「係金A」，有警衛私下透露，招牌是包純金製成的，所以歷久彌新，拿出10幾年前的畫面比一比，1994年的教育部是這樣的顏色，13年之後，一樣金光閃閃絲毫沒有褪色。
但是，教育部總務司對於金字招牌以不清楚回應，36年的老建築，一走進大門映入眼簾的是鮮豔的牆壁，有點格格不入，其實老教育部的員工都知道，三合版的背後原來有著孔子像。教育部總務司長劉奕權：「我個人記得那個牆面上，是3個浮坎嵌在牆面上的浮雕，其中有1個好像是孔子行教圖。」
5年前前教育部長曾志朗任內，教育部以要配合活動為由，用三合版把有著孔子行教圖，和寫著倫理、民主、科學的石牆給遮住，三合版會不會拆，教育部沒有時間表，而牆上的孔老夫子，不知道何時能夠重見光明。
