No século VI a.C., um dia, o matemático grego Pitágoras passou por uma oficina de ferreiro e ouviu o som agradável dos martelos a bater em pedaços de ferro. Então, ele entrou na oficina para analisar os martelos e percebeu que aqueles com tons harmoniosos tinham uma relação matemática simples — as suas massas estavam em proporções simples. Mais especificamente, os martelos que produziam sons harmoniosos tinham massas que eram proporções simples de 1/2, 1/3 e 1/4 de outro martelo. Por outro lado, o martelo que sempre produzia um som desagradável quando batia com outros martelos não tinha uma relação simples de inteiros com as massas dos outros martelos. Pitágoras repetiu esta experiência nas cordas de um instrumento musical e chegou à mesma conclusão: quando as cordas são divididas em duas partes com uma relação de inteiros simples, elas produzem sons mais agradáveis. A harmonia dos sons dependia de uma relação de inteiros! Esta descoberta musical inspirou Pitágoras, que depois atribuiu os movimentos dos planetas a relações de inteiros. Com base nestas descobertas, Pitágoras afirmou que "tudo é número", ou seja, todo o universo poderia ser explicado por números ou relações de inteiros. Esta tornou-se a doutrina da escola pitagórica, que ele liderava. Esta ideia refletia-se na geometria, onde se afirmava que dois segmentos de linha são congruentes se tiverem o mesmo comprimento quando divididos por um número inteiro. Aqui, vamos explicar este conceito estranho. Suponhamos que dois segmentos de linha tenham comprimentos a e b. Se pudermos encontrar um pequeno segmento de comprimento d, de tal forma que a possa ser dividido por d um número inteiro de vezes, ou seja, a = nd; e b possa ser dividido por d outro número inteiro, ou seja, b = md, então dizemos que os segmentos a e b são congruentes (d é a unidade comum para ambos). Na verdade, em linguagem familiar, isto significa que a relação entre os comprimentos de dois segmentos de linha é um número inteiro ou uma fracção.
Esta conclusão, que é muito intuitiva e sensata, parecia indubitável e era amplamente aceite pelos gregos antigos. A reviravolta começou após Pitágoras ter provado o teorema de Pitágoras. Um dos alunos de Pitágoras, Hipaso, ao estudar o famoso resultado do seu professor, questionou-se: será que os diagonais de um quadrado são congruentes com os seus lados? Após uma reflexão cuidadosa, Hipaso descobriu inesperadamente que os diagonais e os lados não têm uma unidade comum: não importa quão pequena seja a unidade, nunca será uma unidade comum para os lados e os diagonais de um quadrado. Por outras palavras, os diagonais de um quadrado e os seus lados não são congruentes! Ou seja, a relação entre os diagonais e os lados de um quadrado (que hoje conhecemos como ) não é um número inteiro, nem uma fracção, mas um número completamente novo que, na altura, era desconhecido dos gregos. Esta descoberta foi fatal para Pitágoras e a sua escola, pois derrubou completamente os seus dogmas matemáticos e filosóficos. Segundo a lenda, Hipaso foi afogado no mar por seguidores de Pitágoras por ter revelado a sua descoberta.
Após Hipaso, descobriram-se muitos números como este. Mais tarde, estes números passaram a ser designados por "irracionais", em oposição aos números racionais (inteiros ou proporções inteiras). No entanto, no grego antigo, "racional" e "irracional" significavam originalmente "comparável" e "incomparável". Durante a tradução, o significado de "comparável" foi acrescentado, dando origem aos significados de "racional" e "irracional". Mais tarde, na tradução chinesa, estes termos foram traduzidos como "racionais" e "irracionais", sem que se soubesse que originalmente significavam "comparável" e "incomparável".