Per trovare fossili, bisogna prima sapere cosa sono i fossili. I fossili, che sono il risultato della fossilizzazione dei resti di organismi antichi, non sono molto particolari. I fossili di piante, ad esempio, sono come le radici, i tronchi e le foglie delle piante, solo che sono fossilizzati; i fossili di animali sono più complessi, alcuni conservano i loro gusci (come le conchiglie di molluschi), altri i loro scheletri (come i rettili e i mammiferi), ma sono comunque facilmente riconoscibili. Inoltre, è importante sapere quali strati geologici possono contenere fossili. I fossili non si trovano nelle rocce vulcaniche, ma sono generalmente conservati solo nelle rocce sedimentarie. Tuttavia, i diversi tipi di rocce sedimentarie presentano differenze nella conservazione dei fossili. Ad esempio, le rocce come l'arenaria grossolana, il conglomerato e la dolomia generalmente non contengono fossili, poiché la loro struttura e l'ambiente di sedimentazione non sono favorevoli alla conservazione dei fossili, o perché l'ambiente in cui si sono formate non era adatto alla vita. Solo rocce come la calcare, la argillacea, l'argilla, l'argilla sabbiosa, la sabbia e lo scisto hanno una struttura e un ambiente di sedimentazione adatti alla crescita degli organismi e alla conservazione dei fossili. I fossili appartenenti a epoche diverse sono anche completamente diversi. Ad esempio, per trovare i trilobiti, è meglio cercarli negli strati del Cambriano (tra 540 e 500 milioni di anni fa), ma ce ne sono anche nel Ordoviciano e nel Siluriano. Tuttavia, più recenti sono gli strati, meno trilobiti si trovano. Per quanto riguarda i fossili di piante, è necessario cercarli nei strati terrestri, soprattutto in quelli con un alto contenuto di materia organica, come gli strati carbonatici. I fossili di dinosauri, invece, si trovano negli strati terrestri del Cretaceo, cioè quelli che risalgono a un'era geologica più recente. In generale, è importante sapere quali fossili potrebbero appartenere a quali epoche, se sono marini o terrestri, e che nei strati terrestri non è possibile trovare fossili marini.
Le condizioni geologiche sono spesso molto variabili, e i diversi luoghi, epoche e rocce differiscono notevolmente. Tuttavia, con una ricerca e un'esperienza sufficienti, è possibile individuare delle regolarità. Ad esempio, nella Cina occidentale, nel Triassico superiore (circa 200 milioni di anni fa), gli strati terrestri contengono spesso fossili importanti come uccelli, insetti, piante e pesci d'acqua dolce, oltre a piccoli dinosauri e pterosauri. I locali aiutano spesso i paleontologi a trovare questi fossili, e dopo un po' imparano a riconoscere dove e a quali strati appartengono i diversi fossili, o addirittura a sapere cosa trovare a diversi metri di profondità. Come si dice, "la pratica rende perfetti", ed è davvero vero. In alcune zone, i fossili sono molto rari, quindi la ricerca richiede pazienza. Se non si riesce a trovare fossili in uno strato, è consigliabile cercare lungo la direzione in cui si estende lo strato. Nei luoghi più difficili, invece, una volta trovati i fossili, può essere una scoperta inaspettata e gratificante.
Vale la pena notare che in alcune rocce, come le fessure, si possono trovare dei fossili fittizi, che sembrano un po' come i tronchi e le foglie delle piante, ma se osservati attentamente al microscopio, si può vedere che non sono affatto fossili di tronchi o foglie, ma delle manganese nere distribuite lungo le pareti delle fessure delle rocce.