Arcadia fue fundada y colonizada por cuatro hombres del condado de Dodge, Wisconsin; Collins Bishop, George Dewey, George Shelley y James Broughton. Llegaron en el otoño de 1855 y Bishop contrató a Broughton y al Sr. Davis para construir una casa en su terreno.

En 1856, los colonos solicitaron convertirse en pueblo. Necesitaban un nombre para la nueva ciudad, que hasta ese momento se había llamado Bishop's Settlement, por su fundador, o Barntown, por los muchos graneros construidos por los primeros colonos. En una reunión, a las mujeres del asentamiento se les otorgó el privilegio de nombrar el pueblo. La Sra. David Bishop ofreció el nombre de Arcadia, que le había sido sugerido por Noah Comstock. Comstock, un residente que ha viajado mucho, dijo que el área le recordaba la región montañosa de la lejana Grecia, donde los campesinos de Arcadia llevaban una vida de simple satisfacción en medio de su entorno salvaje.

En la primera reunión de la ciudad, en la primavera de 1857, el obispo fue elegido presidente. La primera escuela se inició ese año, con Sarah McMasters como primera maestra. George Shelley abrió una tienda, y Albro C. Matterson abrió un taller de herrería el año siguiente, 1858. El Dr. Briggs y David Massuere comenzaron a trabajar en un molino de harina en 1860, pero todo el desarrollo se desaceleró mientras la Guerra Civil rugía, y el molino no comenzó a funcionar hasta después de la guerra.

En 1867, los tiempos comenzaron a mejorar, lo que llevó a un gran impulso en 1873 con la finalización del Ferrocarril de Green Bay y Lake Pepin. Hubo algunas dificultades para planificar la ruta del ferrocarril. Su ubicación final a lo largo del río Trempealeau hizo que la ciudad de Arcadia se trasladara de la ciudad alta original a la ciudad baja donde se encuentra hoy. Cuenta la historia que parte de la razón de la ubicación final del ferrocarril fue que la persona propietaria de la tierra en la parte baja de Arcadia le dio al ferrocarril el derecho de paso para que el resto de su tierra fuera más valiosa. Arcadia ha sufrido inundaciones periódicas desde entonces. El ferrocarril fue importante para el crecimiento de Arcadia y aún juega un papel importante en su continua prosperidad.