问答题

案情：王某，女，37岁，某外资企业总经理办公室文秘。被告人，李某，女，28岁，文秘，单位同上。2010年10月初李某辞去公职，应聘来到某外资企业总经理办公室任文秘职务。由于李某具有硕士学历，且精通两门外语，加上年轻漂亮尚为单身，深得一些男同事的宠爱，尤其受到总经理的器重。李某工作不到两个月时间，即因工作需要陪同总经理去美国、香港各1次。这引起了同事王某的不满，王某认为如果没有李某，这些机会本应属于自己，故在工作上开始与李某发生摩擦，进而发生争吵。2010年1月下旬，王某因琐事又与李某发生争执，李某无心吵架随即到总经理处作了汇报。总经理将王某叫去进行了批评，王某亦表示改正，不在工作中刁难李某。但下班后，王某却将李某拦在大街上并大骂李某是“婊子”、“不要脸的东西”、“狐狸精”等，引来围观群众近百人，李某开始一直沉默不语，后实在不堪忍受侮辱即抓住王某的衣服后猛推，致王某和其自行车一齐摔倒。王某受轻伤，在治疗中花去医疗费用200余元。李某的精神也受到严重刺激，卧床休息一周后恢复正常。后王某以故意伤害罪提起诉讼。
问题： 本案由审判员一人独任审判，假如人民法院在审理时，被告人李某只对本案书记员提出回避要求，而不要求审判员回避，则本案书记员的回避应如何处理？是否可以由审判员决定？