Hay muchos factores que influyen directamente en la velocidad de carga de una web. El más conocido es el Ancho de Banda porque durante mucho tiempo fué el mayor limitante aunque desde la estandarización del ADSL no suele ser un limitante real. 

En primer lugar los test de velocidad de ADSL no sirven para valorar la velocidad de descarga pues solo tienen en cuenta el Ancho de Banda que es lo que intentan medir. En un test de velocidad de ADSL descarga un solo fichero de varios megas mientras que al cargar una web descargamos una multitud de fichero pequeños.
Cuando estas descargando muchos ficheros la latencia cobra una importancia especial. Una forma de saber la latencia entre tu ordenador y el servidor al que quieres conectar es con la herramienta ping que incorporan todos los ordenadores. El Ping está pensado para comprobar la conectividad pero tambien nos da información del tiempo que les cuesta a los paquetes de información ir y volver.  Desde una «ventana de msdos» podemos ejecutar «ping www.laweb.es -t» y empezaremos a ver respuestas en xx milisegundos. Esos milisegundos con ADSL suelen estar entre 100 y 150 si tarda mucho más de 300 ms seguramente hay algun problema o tienes la web alojada en otro pais. Con el parametro -t el ping no parará hasta que no hagamos Ctrl+C y entonces nos ofrecerá un resumen de tiempo de espera promedio y cantidad de paquetes perdidos. Que se pierdan algunos paquetes es normal, forma parte de la forma de trabajar de la red pero si esa perdida llega a representar porcentajes tenemos algún tipo de problema.
Además el servidor y tu ordenador tienen que hacer ciertos trabajos para presentar la información que se les ha pedido. Por un lado tendremos el tiempo que le cuesta al servidor generar la página web solicitada (las búsquedas o páginas que trabajen intensivamente con bbdd serán las que más tarden) y por otro lado el tiempo que le cuesta a tu ordenador renderizar toda la información que ha recibido (webs con muchas capas/tablas pueden tardar bastante en ser renderizadas)
Esta web da una idea bastante clara de como se carga una página: http://tools.pingdom.com/
Intenta emular la forma de pedir las imágenes/otros ficheros que tiene un navegador web.
El ancho de banda:cantidad de datos que se pueden transmitir en una unidad de tiempo
Latencia: Es la suma de retardos temporales en una red. Los retardos son los tiempos que les cuesta a los elementos de la red retransmitir los paquetes.