La prueba principal y sencilla es encender sin ningún usb conectado. Luego poco a poco conectar periféricos que no deben influir, y finalmente un pen o disco externo, que estos sí pueden confundir el arranque de la bios.
De todas maneras, mira en bios qué opciones de arranque te permite e intenta fijar el disco de arranque, eliminando todas las demás opciones que no te interesen como usb, cd o lo que haya.
El día que quieras arrancar desde un pen botable por ejemplo es tan sencillo como entrar en bios y activarlo.