Bukti-bukti keramik menunjukkan adanya aktivitas di Ofel, yang saat ini dikenal dengan nama Yerusalem pada Zaman Tembaga sekitar milenium ke-4 SM, dengan bukti sebuah pemukiman tetap selama awal Zaman Perunggu sekitar 3000–2800 SM. Sekitar abad ke-9 SM, merujuk pada kota yang disebut Roshlamem atau Rosh-ramen dan surat Amarna (sekitar abad ke-14 SM) mungkin merupakan yang pertama kali menyebut kota tersebut. Beberapa ahli arkeologi, termasuk Kathleen Kenyon, meyakini Yerusalem sebagai sebuah kota yang didirikan oleh masyarakat Semitik Barat dengan pemukiman yang terorganisir sekitar tahun 2600 SM. Menurut tradisi Yahudi, kota ini didirikan oleh Shem dan Eber, nenek moyang Abraham. Dalam kisah Alkitab, saat pertama kali disebutkan, Yerusalem (dikenal sebagai "Salem") dikuasai oleh Melkisedek, sekutu Abraham (disamakan dengan Shem dalam legenda). Kemudian, pada masa Yosua, Yerusalem berada di teritori suku Benyamin namun masih dalam kuasa independen orang Yebus hingga ditaklukkan oleh Daud dan dijadikan ibukota Kerajaan Israel (sekitar 1000-an SM).
Saat Roma menjadi semakin kuat, Herodes diangkat sebagai raja boneka Yahudi. Herodes Agung mengabdikan dirinya untuk membangun dan memperindah kota. Dia membangun tembok, menara, dan kuil, dan memperluas Bukit Bait, menopang halaman istana dengan balok batu yang beratnya mencapai 100 ton. Selama Herodes berkuasa, wilayah Bukit Bait bertambah luas.
Pada tahun 6 M, kota dan wilayah-wilayah di sekitarnya oleh penguasa Romawi dijadikan sebagai Provinsi Iudaea dan keturunan Herodes hingga Agrippa II masih memangku gelar raja boneka Yudea hingga 96 M. Penguasa Romawi atas Yerusalem dan wilayah sekitarnya mulai tertantang dengan adanya Perang Yahudi-Romawi pertama, yang menyebabkan kehancuran Bait Kedua pada tahun 70 M. Yerusalem sekali lagi menjadi ibukota dari Yudea selama tiga tahun pemberontakan yang dikenal dengan Revolusi Bar Kokhba yang dimulai tahun 132 M. Orang-orang Romawi terus menekan revolusi di 135 M. Kaisar Hadrianus meromawisasi kota dan mengganti namanya menjadi Aelia Capitolina, dan melarang orang Yahudi memasukinya. Hadrianus mengganti keseluruhan nama Provinsi Iudaea menjadi Syria Palaestina menurut kata Filistin dalam Alkitab untuk menjauhkan orang Yahudi dari negara mereka. Larangan orang Yahudi memasuki Aelia Capitolina berlanjut hingga abad ke-4 M.
Lima abad setelah revolusi Bar Kokhba, kota masih berada dibawah kekuasaan Romawi kemudian Bizantium. Selama abad ke-4, Kaisar Romawi Konstantin I membangun tempat-tempat Kristen di Yerusalem seperti Gereja Makam Kudus. Luas wilayah dan populasi Yerusalem mencapai puncak di akhir Periode Bait Kedua: Kota mencakup dua kilomoter persegi dan memiliki populasi 200.000. Dari Konstantin hingga abad ke-7, Yerusalem dilarang bagi orang Yahudi.
Dalam rentang beberapa dekade, Yerusalem berganti penguasa dari Romawi menjadi Persia dan kembali dikuasai Romawi sekali lagi. Dengan adanya tekanan Khosrau II dari Sassania di awal abad ketujuh terhadap Bizantium hingga ke Syria, Jendral Sassania Shahrbaraz dan Shahin menyerang kota yang dikendalikan Bizantium, Yerusalem (bahasa Persia: Dej Houdkh). Mereka dibantu oleh orang Yahudi dari Palestina yang telah bangkit melawan Bizantium.
Pada Pengepungan Yerusalem, setelah 21 hari peperangan tanpa ampun, Yerusalem direbut. Riwayat Bizantium menceritakan bahwa tentara Sassana dan orang Yahudi membantai puluhan dari ribuan orang Kristen di dalam kota, ini menjadi episode yang masih diperdebatkan para sejarawan. Kota yang ditaklukkan masih berada di tangan Sassania hingga sekitar lima belas tahun saat Kaisar Bizantium Heraklius merebutnya kembali pada tahun 629.