Hay algunos productos que están diseñados para que puedan ponerse tanto en horizontal, como en vertical. Yo mismo tengo uno:

https://ifi-audio.com/products/neo-idsd

Pero en la mayoría de los casos, es mejor dejarlos en horizontal.