Debes entrar a la conversación que quieres borrar y luego dar click al botón 'Borrar esta conversación'.

Si la otra persona responde, la conversación aparecerá de nuevo junto con todos los mensajes.