On est bien avancé quand on a une erreur de ce genre ! Heureusement avec notre ami google on se sent moins seul et je m'aperçois que je ne suis pas seul à avoir ce soucis, notamment avec la documentation du problème sur php.net. J'ai aussi trouvé comment essayer de debugger le problème dans la documentation d'apache.
Mais tout cela ne fait que confirmer le problème et ne le règle en rien. Au hasard de mes recherches, je suis tombé sur un site qui parle d'un bug dans gcc (j'ai la 3.4 sur le serveur) qui se résoud en lui passant des paramètres particulier -fno-strict-aliasing.
Je ne suis qu'à moitié convaincu mais j'ai quand même essayer:
# export CC="gcc -fno-strict-aliasing"
# ./configure --avec-tous-paramètres-qui-vont-biens
# make
# make install
Je ne suis pas complètement persuadé que ce soit la meilleure solution mais quoi qu'il en soit cela a résolu le problème pour ce qui me concerne.