История тепловоза ТЭМ2 начинается в 1959 году.
В это время в Брянске на машиностроительном заводе выпускается первый тепловоз ТЭМ1, который относился к усиленной серии. Для данной модели был создан более мощный дизель ПД1. Уже в 1960 году машиностроительный завод выпустил два тепловоза, а в следующем 1961 году в свет вышел более усовершенствованный ТЭМ2. Новый тепловоз обладал большей мощностью, чем созданная ранее модель. Кузов у ТЭМ2У мало, чем отличается от кузова тепловоза первой модели. Для того, чтобы машинист смог более удобно обозревать путь, боковые стенки в его кабине не имеют наклона. В обновленной модели был заменен дизель, а так же основной генератор. Были выполнены и некоторые другие изменения в машинах. Самые первые модели ТЭМ2 использовались в следующих депо: имени Ильича Московской дороги, Лихоборы.
Во время выпуска данного вида машин в него были внесены многочисленные изменения, которые можно увидеть у тепловоза ТЭМ2У и следующих моделях. Модель за №4 характеризуется изменением конструкции электродвигателя. Так же в данной модели можно увидеть использование контролера машиниста. У главных рукояток предусмотрено восемь ходовых позиций. Например, модель за номером №53 обладает установленную розетку, которая позволяет вводить его в депо, используя при этом стационарный источник электроподачи.
С 1968 года все тепловозы, которые создаются на заводе, проходят ремонт и обслуживание тепловозов, оснащаются модернизированным двигателем (ПД-1М). В модели №300 вводится система, которая позволяет выполнять автоматический запуск двигателя. В №943 количество необходимых секций, благодаря которым происходит процесс охлаждения воды, сокращается с 16 до 12. В №1145 предусмотрено оборудование, благодаря которому машинист может самостоятельно управлять целым локомотивом. Модель ТЭМ2-580, которая вышла в свет в 1970 году, получила государственный знак качества. ТЭМ2 поставляются во многие страны, среди которых Монголия, Куба, Польша. На территории бывшего СССР данный вид локомотива является самым распространенным.