单位有个会计总是欺负我，我该怎么还击

上个月我刚怀孕，去找会计签字报销的时候，正赶上他被老板骂完，就说我单子写的不明白，好顿摔打，他刚来单位是个财务经理，男的四十多岁。我刚怀孕就没跟他吵吵，后来就气哭了。越想越来气。我应该怎么打击他，最好把他赶走。