Setelah berdirinya PHS/SMA Santu Petrus pada tahun 1956 yang selanjutnya menempati gedung baru di Jalan Karet Satsuit Tubun No. 3, timbullah gagasan mendirikan Sekolah Rakyat. Rencana yang diberitakan koran Chen Pau 17 November 1956 sungguh mengejutkan sekelompok orang dalamlingkungan Keuskupan sehingga muncullah ketakutan yang tidak perlu, apalagi diketahui bahwa sekolah tersebut adalah sekolah berbahasa Inggris.
Tahun 1957, rencana dapat diwujudkan, berdirilah SR (sekolah rakyat) Cempaka, sebab mengambil tempat di Jalan Cempaka (depan Gereja Katedral). Tahun 1965, SR Cempaka berubah nama menjadi SD Santa Maria yang kegiatan belajar mengajarnya di pagi hari.
Tahun 1964 menyusul berdirinya SD Santu Yosef yang kegiatan belajar mengajarnya pada siang hari. Tahun Pendirian SD Santu Yosef bertepatan dengan lahirnya Yayasan Pendidikan Kalimantan. Dan pada tahun 1974, SD Santu Yosef berubah nama menjadi SD Karya Yosef.
Dalam perkembangannya, kedua SD ini di bawah kepemimpinan satu Kepala Sekolah, dan SD Karya Yosef mengambil jam belajar mengajar pagi hari, sedangkan SD Santa Maria mengambil waktu belajar mengajar siang hari.
Pada tahun 2006 SD Santa Maria menerima siswa angkatan terakhir. Pada tahun 2007, SD Santa Maria resmi melebur menjadi satu dengan SD Karya Yosef dengan tetap menggunakan nama SD Karya Yosef. pada tahun pelajaran 2007/2008 sampai dengan 2011/2012, SD Karya Yosef melaksanakan kegiatan belajar mengajar dengan sistem 2 shift yaitu pada pagi hari dan siang hari. Pada Tahun ajaran 2012/2013, kegiatan belajar mengajar SD Karya Yosef difokuskan pada pagi hari.