Parece que el método que usas para resetear es correcto. Prueba a mantener los botones pulsados durante más tiempo a ver si comienza la pantalla a parpadear.

Denon AVR-3808CI Factory reset instructions

  1. Turn off the power using <POWER>.
  2. Press <POWER> while simultaneously pressing <STANDARD> and <DSP SIMULATION>.
  3. Once the display starts flashing at intervals of about 1 second, release the two buttons.

Si no funciona, prueba a desenchufar el AV completamente, espera un buen rato, vuelve a enchufar y prueba de nuevo.

Respecto a lo de no ver el menú GUI en pantalla. Según el manual, una posible causa sería: "The format of the GUI and TV (PAL or NTSC) do not match."Asegurate de que tanto el AV como la TV están configurados como PAL. En el AV lo puedes comprobar (o cambiar) así:

GUI
Make GUI related settings.

Format
Select the video output signal format to match the monitor.

[Selectable items] PAL NTSC


NOTE
When a format other than the video format of the connected monitor
is set, the picture will not be displayed properly. Use the procedure
described below to change the video format.


Operating from the main unit


Press and hold the STATUS and RETURN buttons for at least 3
seconds.

“Video Format” appears on the display.

Use the < > buttons to make the setting.


Press the ENTER, MENU or RETURN button to complete the setting



Suerte!