From: Simone Piccardi Date: Tue, 13 Aug 2002 21:31:16 +0000 (+0000) Subject: Sistemato memory mapping X-Git-Url: https://gapil.gnulinux.it/gitweb/?a=commitdiff_plain;h=f331c37c55d5d5cf52d252c5c362307e466a5b0f;p=gapil.git Sistemato memory mapping --- diff --git a/fileadv.tex b/fileadv.tex index a0081db..6095c58 100644 --- a/fileadv.tex +++ b/fileadv.tex @@ -829,15 +829,16 @@ cosiddetto \textit{memory-mapped I/O}, che, attraverso il meccanismo della \textsl{paginazione}\index{paginazione} usato dalla memoria virtuale (vedi \secref{sec:proc_mem_gen}), permette di \textsl{mappare} il contenuto di un file in una sezione dello spazio di indirizzi del processo. Il meccanismo è -illustrato in \figref{fig:file_mmap_layout}; una sezione del file viene +illustrato in \figref{fig:file_mmap_layout}, una sezione del file viene riportata direttamente nello spazio degli indirizzi del programma. Tutte le operazioni su questa zona verranno riportate indietro sul file dal meccanismo della memoria virtuale che trasferirà il contenuto di quel segmento sul file -invece che nella swap. +invece che nella swap, per cui si può parlare tanto di file mappato in +memoria, quanto di memoria mappata su file. \begin{figure}[htb] \centering - \includegraphics[width=10cm]{img/mmap_layout} + \includegraphics[width=9.5cm]{img/mmap_layout} \caption{Disposizione della memoria di un processo quando si esegue la mappatuara in memoria di un file.} \label{fig:file_mmap_layout} @@ -897,7 +898,7 @@ in memoria di un file; il suo prototipo \item[\macro{EAGAIN}] Il file è bloccato, o si è bloccata troppa memoria. \item[\macro{ENOMEM}] Non c'è memoria o si è superato il limite sul numero di mappature possibili. - \item[\macro{ENODEV}] Il filesystem di \param{fd} no supporta il memory + \item[\macro{ENODEV}] Il filesystem di \param{fd} non supporta il memory mapping. \end{errlist} } @@ -906,18 +907,8 @@ in memoria di un file; il suo prototipo La funzione richiede di mappare in memoria la sezione del file \param{fd} a partire da \param{offset} per \param{lenght} byte, preferibilmente all'indirizzo \param{start}. Il valore di \param{offset} deve essere un -multiplo della dimensione di una pagina di memoria. Il valore dell'argomento -\param{prot} indica la protezione\footnote{in Linux la memoria reale è divisa - in pagine: ogni processo vede la sua memoria attraverso uno o più segmenti - lineari di memoria virtuale. Per ciascuno di questi segmenti il kernel - mantiene nella \textit{page table} la mappatura sulle pagine di memoria - reale, ed le modalità di accesso (lettura, esecuzione, scrittura); una loro - violazione causa quella che si chiama una \textit{segment violation}, e la - relativa emissione del segnale \macro{SIGSEGV}.} da applicare al segmento di -memoria e deve essere specificato come maschera binaria ottenuta dall'OR di -uno o più dei valori riportati in \tabref{tab:file_mmap_flag}; il valore -specificato deve essere compatibile con la modalità con cui si è aperto il -file. +multiplo della dimensione di una pagina di memoria. + \begin{table}[htb] \centering @@ -938,8 +929,21 @@ file. \label{tab:file_mmap_prot} \end{table} -L'argomento \param{flags} specifica qual'è il tipo di oggetto mappato, le -opzioni relative alle modalità con cui è effettuata la mappatura e alle + +Il valore dell'argomento \param{prot} indica la protezione\footnote{in Linux + la memoria reale è divisa in pagine: ogni processo vede la sua memoria + attraverso uno o più segmenti lineari di memoria virtuale. Per ciascuno di + questi segmenti il kernel mantiene nella \textit{page table} la mappatura + sulle pagine di memoria reale, ed le modalità di accesso (lettura, + esecuzione, scrittura); una loro violazione causa quella che si chiama una + \textit{segment violation}, e la relativa emissione del segnale + \macro{SIGSEGV}.} da applicare al segmento di memoria e deve essere +specificato come maschera binaria ottenuta dall'OR di uno o più dei valori +riportati in \tabref{tab:file_mmap_flag}; il valore specificato deve essere +compatibile con la modalità di accesso con cui si è aperto il file. + +L'argomento \param{flags} specifica infine qual'è il tipo di oggetto mappato, +le opzioni relative alle modalità con cui è effettuata la mappatura e alle modalità con cui le modifiche alla memoria mappata vengono condivise o mantenute private al processo che le ha effettuate. Deve essere specificato come maschera binaria ottenuta dall'OR di uno o più dei valori riportati in @@ -1013,21 +1017,21 @@ piuttosto complessi, essi si possono comprendere solo tenendo presente che tutto quanto è comunque basato sul basato sul meccanismo della memoria virtuale. Questo comporta allora una serie di conseguenze. La più ovvia è che se si cerca di scrivere su una zona mappata in sola lettura si avrà -l'emissione di un segnale di \macro{SIGSEGV}, dato che i permessi sul segmento -di memoria relativo non consentono questo tipo di accesso. - -È invece assai più complessa la questione relativa agli accessi al di fuori -della regione di cui si è richiesta la mappatura. In generale infatti si è -portati a ritenere che anch'essi dovrebbero dar luogo all'emissione di un -segnale di \macro{SIGSEGV}; questo però non tiene conto del fatto che essendo -basata sul meccanismo della paginazione, una mappatura non può che essere -eseguita su un segmento di memoria di dimensioni uguali ad un multiplo di -quelle di una pagina. In generale dette dimensioni potranno non corrispondere -alle dimensioni effettive del file o della sezione che si vuole mappare. Il -caso più comune che si presenta è quello illustrato in -\figref{fig:file_mmap_boundary}, in cui la sezione di file non rientra nei -confini di una pagina: in tal caso verrà mappato su un segmento di memoria che -si estende fino al bordo della pagina successiva. +l'emissione di un segnale di violazione di accesso (\macro{SIGSEGV}), dato che +i permessi sul segmento di memoria relativo non consentono questo tipo di +accesso. + +È invece assai diversa la questione relativa agli accessi al di fuori della +regione di cui si è richiesta la mappatura. A prima vista infatti si potrebbe +ritenere che anch'essi debbano generare un segnale di violazione di accesso; +questo però non tiene conto del fatto che, essendo basata sul meccanismo della +paginazione, la mappatura in memoria non può che essere eseguita su un +segmento di dimensioni rigorosamente multiple di quelle di una pagina, ed in +generale queste potranno non corrispondere alle dimensioni effettive del file +o della sezione che si vuole mappare. Il caso più comune è quello illustrato +in \figref{fig:file_mmap_boundary}, in cui la sezione di file non rientra nei +confini di una pagina: in tal caso verrà il file sarà mappato su un segmento +di memoria che si estende fino al bordo della pagina successiva. \begin{figure}[htb] \centering @@ -1037,53 +1041,56 @@ si estende fino al bordo della pagina successiva. \label{fig:file_mmap_boundary} \end{figure} -Si ha così una situazione in cui sarà possibile accedere, senza ottenere un -\macro{SIGSEGV}, a quella zona di memoria che eccede le dimensioni specificate -da \param{lenght}, dato che essa è presente nello spazio di indirizzi del -processo, anche se non è mappata sul file. In questo caso quello che succede è -che gli accessi in lettura restituiranno dei valori nulli, mentre gli accessi -in scrittura non avranno alcun effetto e non saranno scritti sul file. -Un caso più complesso è quello illustrato in \figref{fig:file_mmap_exceed}, -che avviene quando le dimensioni del file sono più corte di quelle su cui si -vuole effettuare la mappatura, oppure quando il file è stato troncato da un -altro processo ad una dimensione inferiore. +In questo caso è possibile accedere a quella zona di memoria che eccede le +dimensioni specificate da \param{lenght}, senza ottenere un \macro{SIGSEGV} +poiché essa è presente nello spazio di indirizzi del processo, anche se non è +mappata sul file. Il comportamento del sistema è quello di restituire un +valore nullo per quanto viene letto, e di non riportare su file quanto viene +scritto. + +Un caso più complesso è quello che si viene a creare quando le dimensioni del +file mappato sono più corte delle dimensioni della mappatura, oppure quando il +file è stato troncato, dopo che è stato mappato, ad una dimensione inferiore a +quella della mappatura in memoria. \begin{figure}[htb] \centering - \includegraphics[width=10cm]{img/mmap_exceed} + \includegraphics[width=13cm]{img/mmap_exceed} \caption{Schema della mappatura in memoria di file di dimensioni inferiori alla lunghezza richiesta.} \label{fig:file_mmap_exceed} \end{figure} -In tal caso per la parte del file esistente vale esattamente quanto detto in -precedenza, mentre per la parte di memoria che eccede il bordo della pagina, -ma inferiore alle dimensioni richiete con \param{length}, si avrà il segnale -\macro{SIGBUS}. - -Si tenga presente che non tutti i file possono venire mappati in memoria, la -mappatura infatti introduce una corrispondenza biunivoca fra una sezione di un -file ed una sezione di memoria, pertanto si può parlare tanto di file mappato -in memoria, quanto di memoria mappata su file. Questo comporta che ad esempio -non è possibile mappare in memoria pipe, socket e fifo, per le quali non ha -senso parlare di \textsl{sezione}. Lo stesso vale anche per alcuni file di -dispositivo, che non dispongono della relativa operazione \var{mmap} (si -ricordi quanto esposto in \secref{sec:file_vfs_work}), ma esistono anche casi -(un esempio è l'interfaccia ponte PCI-VME del chip Universe) di dispositivi -che sono utilizzabili praticamente solo con questa interfaccia. +In questa situazione, per la sezione di pagina parzialmente coperta dal +contenuto del file, vale esattamente quanto visto in precedenza; invece per la +parte che eccede, fino alle dimensioni date da \param{length}, l'accesso non +sarà più possibile, ma il segnale emesso non sarà \macro{SIGSEGV}, ma +\macro{SIGBUS}, come illustrato in \figref{fig:file_mmap_exceed}. + +Non tutti i file possono venire mappati in memoria, dato che, come illustrato +in \figref{fig:file_mmap_layout}, la mappatura introduce una corrispondenza +biunivoca fra una sezione di un file ed una sezione di memoria. Questo +comporta che ad esempio non è possibile mappare in memoria file descriptor +relativi a pipe, socket e fifo, per i quali non ha senso parlare di +\textsl{sezione}. Lo stesso vale anche per alcuni file di dispositivo, che non +dispongono della relativa operazione \var{mmap} (si ricordi quanto esposto in +\secref{sec:file_vfs_work}). Si tenga presente però che esistono anche casi di +dispositivi (un esempio è l'interfaccia al ponte PCI-VME del chip Universe) +che sono utilizzabili solo con questa interfaccia. Dato che passando attraverso una \func{fork} lo spazio di indirizzi viene -copiato, i file mappati in memoria verranno ereditati in maniera trasparente -dal processo figlio, mantenendo gli stessi attributi avuti nel padre; così se -si è usato \macro{MAP\_SHARED} padre e figlio accederanno allo stesso file in -maniera condivisa, mentre se si è usato \macro{MAP\_PRIVATE} ciascuno di essi -manterrà una sua versione privata indipendente. Non c'è invece nessun -passaggio attraverso una \func{exec}, dato che quest'ultima sostituisce tutto -lo spazio degli indirizzi di un processo con quello di un nuovo programma. +copiato integralmente, i file mappati in memoria verranno ereditati in maniera +trasparente dal processo figlio, mantenendo gli stessi attributi avuti nel +padre; così se si è usato \macro{MAP\_SHARED} padre e figlio accederanno allo +stesso file in maniera condivisa, mentre se si è usato \macro{MAP\_PRIVATE} +ciascuno di essi manterrà una sua versione privata indipendente. Non c'è +invece nessun passaggio attraverso una \func{exec}, dato che quest'ultima +sostituisce tutto lo spazio degli indirizzi di un processo con quello di un +nuovo programma. Quando si effettua la mappatura di un file vengono pure modificati i tempi ad -esso associati (si ricordi quanto esposto in \secref{sec:file_file_times}). Il +esso associati (di cui si è trattato in \secref{sec:file_file_times}). Il valore di \var{st\_atime} può venir cambiato in qualunque istante a partire dal momento in cui la mappatura è stata effettuata: il primo riferimento ad una pagina mappata su un file aggiorna questo tempo. I valori di @@ -1095,19 +1102,19 @@ o in corrispondenza di una eventuale \func{msync}. Dato per i file mappati in memoria le operazioni di I/O sono gestite direttamente dalla memoria virtuale, occorre essere consapevoli delle interazioni che possono esserci con operazioni effettuate con l'interfaccia -standard dei file di \capref{sec:file_unix_interface}. Il problema è che una +standard dei file di \capref{cha:file_unix_interface}. Il problema è che una volta che si è mappato un file, le operazioni di lettura e scrittura saranno eseguite sulla memoria, e riportate su disco in maniera autonoma dal sistema della memoria virtuale. Pertanto se si modifica un file con l'interfaccia standard queste modifiche potranno essere visibili o meno a seconda del momento in cui la memoria -virtuale leggerà dal disco in memoria quella sezione del file, perciò è del -tutto indefinito il risultato della modifica nei confronti del contenuto della -memoria mappata. +virtuale trasporterà dal disco in memoria quella sezione del file, perciò è +del tutto imprevedibile il risultato della modifica di un file nei confronti +del contenuto della memoria mappata su cui è mappato. -Se è, per quanto appena visto, sconsigliabile eseguire scritture su file -attraverso l'interfaccia standard quando lo si è mappato in memoria, è invece +Per quanto appena visto, è sempre sconsigliabile eseguire scritture su file +attraverso l'interfaccia standard, quando lo si è mappato in memoria, è invece possibile usare l'interfaccia standard per leggere un file mappato in memoria, purché si abbia una certa cura; infatti l'interfaccia dell'I/O mappato in memoria mette a disposizione la funzione \func{msync} per sincronizzare il @@ -1138,16 +1145,6 @@ relativi tempi di modifica. In questo modo si di \func{msync} le funzioni dell'interfaccia standard troveranno un contenuto del file aggiornato. -L'argomento \param{flag} è specificato come maschera binaria composta da un OR -dei valori riportati in \tabref{tab:file_mmap_rsync}, di questi però -\macro{MS\_ASYNC} e \macro{MS\_SYNC} sono incompatibili; con il primo valore -infatti la funzione si limita ad inoltrare la richiesta di sincronizzazione al -meccanismo della memoria virtuale, ritornando subito, mentre con il secondo -attende che la sincronizzazione sia stata effettivamente eseguita. Il terzo -flag fa invalidare le pagine di cui si richiede la sincronizzazione per tutte -le mappature dello stesso file, così che esse possano essere immediatamente -aggiornate ai nuovi valori. - \begin{table}[htb] \centering \footnotesize @@ -1166,6 +1163,16 @@ aggiornate ai nuovi valori. \label{tab:file_mmap_rsync} \end{table} +L'argomento \param{flag} è specificato come maschera binaria composta da un OR +dei valori riportati in \tabref{tab:file_mmap_rsync}, di questi però +\macro{MS\_ASYNC} e \macro{MS\_SYNC} sono incompatibili; con il primo valore +infatti la funzione si limita ad inoltrare la richiesta di sincronizzazione al +meccanismo della memoria virtuale, ritornando subito, mentre con il secondo +attende che la sincronizzazione sia stata effettivamente eseguita. Il terzo +flag fa invalidare le pagine di cui si richiede la sincronizzazione per tutte +le mappature dello stesso file, così che esse possano essere immediatamente +aggiornate ai nuovi valori. + Una volta che si sono completate le operazioni di I/O si può eliminare la mappatura della memoria usando la funzione \func{munmap}, il suo prototipo è: \begin{functions}