Desa Pematang Johar merupakan salah satu dari 5 (lima) desa yang ada di Kecamatan Labuhan Deli Kabupaten Deli Serdang. Setiap desa pada umumnya memiliki sejarah atau asal usul berdirinya desa begitu pula dengan Desa Pematang Johar. Menurut penelitian tidak ada peninggalan secara tertulis yang dijadikan bahan referensi tentang sejarah Desa Pematang Johar.

Namun menurut cerita dari orang-orang tua terdahulu yang pernah tinggal di Desa Pematang Johar ini, julukan Pematang Johar itu berasal dari kondisi umum wilayah desa, bahwa pada masa itu di wilayah kampung / desa ini banyak terdapat pematang - pematang yang dijadikan menjadi lahan persawahan, selain itu wilayah desa ini banyak ditumbuhi pohon-pohon besar yang bernama pohon Johar, sehingga dinamakanlah wilayah ini menjadi kampung Pematang Johar, yang sekarang telah bernama Desa Pematang Johar.