El Libertador fue el menor de seis hermanos. Cómo fue la relación con María Elena, Manuel Tadeo, Juan Fermín y Justo Rufino.
Durante cuatro años, los San Martín-Matorras (famila de José de San Martín) vivieron en Calera de las Vacas (en el actual departamento de Colonia, Uruguay), donde nacieron sus primeros hijos: María Elena (18/08/1771); Manuel Tadeo, (28/10/1772), y Juan Fermín Rafael (5/02/1774). A fines de ese año, don Juan fue nombrado teniente gobernador de Yapeyú (Corrientes) donde el matrimonio tuvo a sus dos últimos hijos: Justo Rufino, en febrero de 1776, y José Francisco, el futuro Libertador, en 1778. Luego la familia se trasladó a España y Manuel Tadeo, de 16, y Juan Fermín Rafael, de 14, ingresaron como cadetes en el Regimiento de Infantería de Soria.
Manuel Tadeo, tras participar en la campaña del Rosellón de 1793 y sufrir una condena en 1801, fue reintegrado al ejército en 1806. Combatió en la guerra contra la ocupación napoleónica de España, pasó tres años preso de los franceses y, con la restauración de Fernando VII, ascendió a teniente coronel en 1815 y a coronel en 1817, cuando José Francisco obtenía el triunfo de Chacabuco. Las relaciones entre José Francisco y Manuel Tadeo no serían buenas tras la decisión del primero de regresar a su patria para luchar por la independencia. Cuenta el coronel Manuel Olazábal en sus memorias que, a poco de llegar de Chile y Perú, San Martín recibió un paquete con correspondencia. Leyó las cartas y después, “viendo la letra y el sello de una sin abrirla, y manifestando desagrado, agregó: esta es de mi hermano Manuel ‘Matucho’, que creyéndome aún dictador en el Perú, me escribe por primera vez desde que nos separamos en 1812, no habiéndome contestado a tantas que le he escrito llamándolo a mi lado”.
Los últimos destinos de Manuel fueron como comandante del Regimiento de León y como jefe de la fortaleza de San Sebastián, antes de retirarse en 1828. Había servido al ejército español por 41 años. Murió en Valencia, en 1851.
Juan Fermín Rafael pasó un tiempo embarcado y participó en la derrota española, a manos de los ingleses, en la batalla del cabo San Vicente (1797). Pasó después a la caballería, y en 1802 lo destinaron a Filipinas, al Escuadrón de Húsares de Luzón, donde alcanzó el grado de mayor. Se casó en Manila, donde murió en 1822.
En 1793, Justo Rufino pidió su incorporación a los Guardias de Corps, la custodia personal del monarca y la familia real. Allí, Justo participó en el motín de Aranjuez que en 1808 forzó la abdicación de Carlos IV y fue parte de la escolta que acompañó a Fernando VII hasta la frontera francesa, que llevaron a la coronación de José Bonaparte como rey de España. Luchó en los dos sitios de Zaragoza, cayó prisionero de los franceses, pero logró fugarse y siguió combatiendo en Cataluña, Valencia y Andalucía. En estas campañas obtuvo el grado de teniente coronel que luego Fernando VII no le reconoció. Se retiró como capitán. Pero la revolución liberal española de 1820 lo reincorporó como teniente coronel. Fue el único que volvería a reunirse con su hermano José, en Bruselas y en París. Moriría en Madrid en 1832.
María Elena se casó con un militar, Rafael González y Alvarez de Menchaca, con quien tuvo una hija, Petronila. Aunque no volvió a encontrarse con su hermano José, mantuvieron una buena relación por carta. Tras enviudar, se estableció en Madrid, donde moriría en 1852, dos años después que el Libertador, quien en una cláusula de su testamento de 1843 había encomendado a su hija Remedios el pago de una pensión de 1.000 francos a María Elena y cuando ésta falleciera, una renta vitalicia de 250 francos a su sobrina Petronila.