Es coneix com a jerarquia de memòria a l'organització piramidal de la memòria en nivells, que tenen els ordinadors. El seu objectiu és aconseguir el rendiment d'una memòria de gran velocitat al cost d'una memòria de baixa velocitat, a partir del principi de proximitat de referències.



 


Els punts bàsics relacionats amb la memòria es poden resumir en:

     * Quantitat
     * Velocitat
     * Cost

La qüestió de la quantitat és simple, com més memòria hagi disponible, més podrà utilitzar-se. La velocitat òptima per a la memòria és la velocitat a la qual el processador pot treballar, de manera que no hi hagi temps d'espera entre càlcul i càlcul, utilitzats per portar operands o guardar resultats. En resum, el cost de la memòria no ha de ser excessiu, perquè sigui factible construir un equip accessible.

Com pot esperar els tres factors competeixen entre si, de manera que cal trobar un equilibri. Les següents afirmacions són vàlides:

     * A menor temps d'accés major cost
     * Com més capacitat major cost
     * A major capacitat menor velocitat.

Es busca llavors comptar amb capacitat suficient de memòria, amb una velocitat que serveixi per satisfer la demanda de rendiment i amb un cost que no sigui excessiu. Gràcies a un principi anomenat proximitat de referències, és factible utilitzar una barreja dels diferents tipus i aconseguir un rendiment proper al de la memòria més ràpida.

Els nivells que componen la jerarquia de memòria habitualment són:

     * Nivell 0: Registres
     * Nivell 1: Memòria cau
     * Nivell 2: Memòria principal
     * Nivell 3: Disc dur (amb el mecanisme de memòria virtual)
     * Nivell 4: Xarxes (Actualment es considera un nivell més de la jerarquia de memòries)