La Pieve romanica di San Martino venne costruita in località Rafaneto nel IX secolo, in un'area di precedente insediamento romano, forse con funzione di necropoli: oltre a resti di ceramica romana e di una sepoltura alla cappuccina, nel corso dei restauri del 1893 furono rinvenute, murate nella pieve, tre epigrafi, in seguito prelevate dalla pieve e oggi esposte nel lapidario della Rocca Malatestiana.
La pieve ebbe il periodo più fiorente tra Medioevo e Rinascimento, attraversando un periodo di declino a partire dal XVII secolo. Nei secoli fu destinata ad altri usi, come quello agricolo, che ne hanno minato lo stato di conservazione. La stessa facciata non è più visibile, essendo inglobata nella muratura di una casa colonica.
La parte più antica dell'edificio in stile romanico è l'abside semicircolare, risalente al X secolo, il cui tetto si innesta su un cornicione sagomato in pietra chiara decorato da una serie di archetti pensili; il resto dell'edificio è ascrivibile al XII secolo, tranne il campanile che fu innalzato nel secolo successivo, in stile romanico costruito in conci di pietra, a pianta quadrata, di altezze modeste. Il campanile mostra al suo interno una cella campanaria fornita di strette monofore passanti.
La chiesa è a unica navata, con abside semicircolare, costruita in pietra locale e internamente spoglia, nello stile delle costruzioni romaniche. Durante le operazioni di restauro sono emerse decorazioni scultoree di epoca romanica, come decorazioni con figure zoomorfe e elementi fitomorfi.