這個美差沒幹上一年，隊裡通知他回去當記工員。
當記工員的日子裡，他每天提前手拿記工本站在大楊樹下，先是闊嘴大臉平頭矮個的隊長來到樹下，在剛他夠得著的樹幹身上解開鈴繩，扯住，以右手舉於齊耳高處，前後搖盪，注意節律，“噹啷噹啷噹啷啷……”，上工鈴在樹顛清脆地叫起來，在高處傳遍全隊。隊長點上一支香菸，“叭”起來，銀灰色筷子頭大點的菸灰尚未從菸頭上落下飛散，便有或扛鋤頭的女勞力或挑糞桶的男勞力陸續打樹下走過。呂華樂開啟本子開始記名字與活路。隊長的煙吸完，菸蒂往地下一扔，抬起腳底朝它使勁一碾，然後轉身離去。至此，再走過去的勞力即記遲到，直至約摸半小時後便沒了遲到的勞力，呂華樂則下地幹活了。
有時翻田，有時犁地，有時挑糞，這塊田裡不知“吃”過多少噸他送來的糞水；有時趕牛車拖棉柴，有時堆垛揚掀。一次到北漕去記翻田的工量時，幾個中年“男將”搞鬼，硬把他的木直尺拽到預先挖好的深洞處去丈量，他梗著脖子予以拒絕，結果他尚未離開，即遭挖苦：“黑耳朵！那麼多書都讀到*裡去了，踏他爹的代，沒出息！”逃也似地溜到一群女勞力那兒，一位嫂子“考”他：“我給你介紹個女朋友啊，她瓜子臉，梅