Proviamo con un esempio a spiegare il funzionamento dei due metodi: consideriamo ed , sia ; naturalmente questo numero non può essere rappresentato in modo esatto con un elemento dell'insieme (il numero di cifre significative è superiore al nostro limite); vediamo come si comportano allora troncamento ed arrotondamento:
Il significato del è che, nel caso deve essere utilizzato il ``'', mentre per si deve utilizzare ``''.
Il numero
è detto precisione di macchina,
ed è il più piccolo numero positivo tale che:
Per verificare scegliendo si otterrà, alla fine di una sequenza di espressioni simili a quelle sopra, un qualcosa di minore di che verrà scartato dall'operazione di troncamento.
Morpheus 2004-01-04