Yo también dejé mi Galaxy S III por un Nexus 4 (lo tengo desde el primer día de salida, tuve suerte) y no me arrepiento en nada, excepto en las 0,35" pulgadas de menos de pantalla visible. En lo demás, pues eso, tener Google puro es lo mejor que hay.
Respecto a la fluidez, no sólo es por los 2GB de RAM. Tengo el Nexus 10 también, con sus 2GB de RAM y no se ve tan fluido (aunque lo es muchísimo) como en Nexus 4, y eso que el Nexus 10 ya monta los A15 de CPU.