Serge Armand, L'homme qui voulait faire sa loi