Il sito dove oggi sorge Villa Selvatico da Porto si caratterizza per la presenza del Fiume Tergola e dei canali che da questo derivano. Il complesso architettonico risulta quindi circondato dall'acqua su tutto il suo perimetro.
Numerose tradizioni riportano che la villa sia sorta sulle rovine di un più antico fabbricato (forse un luogo fortificato) medioevale, ma nessuna certezza vi è sulla sua prima fondazione.
Sappiamo però che il vicino villaggio di Sant’Andrea ed i terreni circostanti facevano parte dei possedimenti della famosa e ricchissima nobildonna Speronella Dalesmanini, vissuta nella seconda metà del 1100, e lasciati poi in eredità allo scellerato figlio Jacopo da Sant’Andrea, collocato da Dante nel Canto XIII dell’Inferno tra gli scialacquatori e i suicidi per aver dissipato in pochi anni l’enorme fortuna ereditata dalla madre.
La prodigalità di Jacopo era ancora molto nota ai tempi di Dante. I suoi commentatori riferiscono numerosi aneddoti legati alla sua tendenza allo sperpero: per esempio, durante una gita in barca sul Brenta Jacopo si divertì a svuotare nell'acqua una borsa piena di monete; in altra occasione, fece incendiare la propria villa per il solo desiderio di vedere un grande fuoco.
Nella selva dei suicidi, Jacopo fugge con Lano da Siena incalzato da nere cagne. Mancandogli il fiato, cerca riparo in un cespuglio, ma viene raggiunto dalle fiere e sbranato. L'arbusto stesso - che è in realtà un suicida fiorentino - è gravemente danneggiato e, nel suo lamento, identifica lo scialacquatore:
«O Iacopo» dicea «da Santo Andrea,
che t'è giovato di me fare schermo?
che colpa ho io della tua vita rea?»