Hombre hay I3 y hay I3, es cierto que las diferencias de caches existen y los 4 núcleos de los I5 también, pero la GPU no tiene por que ser peor ni mucho menos.

Un ejemplo
Intel Core i3-4330 3.5Ghz Box - www.PcComponentes.com

En tu comparación has usado sockets distintos y arquitecturas distintas por eso sale más victorioso el I5. Y no digo que el I3 sea mejoriginal ojo