Problema con los Auriculares

Al conectar los auriculares el celular no los detecta y suena el altavoz, pero al desconectarlos el teléfono "detecta" los auriculares y entonces no se escucha nada.

Esto se soluciona al reiniciar pero hacerlo todo el tiempo es muy molesto y no quiero arruinar el teléfono o la batería.