1879. november 28-án született Somogyban, Handverk Károly Emil néven Handverk Ferenc és Knabl Jozefa fiaként. Két lánytestvére született.
Harmos Károly önarcképe (Duna Menti Múzeum gyűjteménye, 1946)
Harmos gyermekkora szeretetben, zavartalanul zajlott, mindig szívesen emlékezett vissza a Pécs környéki bányatelepeken töltött évekre. Ehhez a boldogsághoz talán két lánytestvére jelenléte is hozzájárult, akik valószínűleg sokat tettek hozzá a későbbi művész szellemi fejlődéséhez is.
1898-1902 között a budapesti Mintarajziskolában (Magyar Képzőművészeti Főiskola) tanult Székely Bertalan irányításával. 1902–1908 között Münchenben Azbe és Stuck növendéke volt. 1908-ban Londonban, Münchenben, Berlinben, Drezdában rendezett egyéni tárlatokat.
1908–1910 között a szentendrei magániskola rajztanára, majd 1911-től Komáromban bencés gimnáziumi tanár. 1908-ban magyarosítja nevét Harmosra. 1915-től rajziskolát vezetett. 1917-ben száz alkotásból álló anyagát Budapesten a Nemzeti Szalonban állították ki.
1920-tól a komáromi Jókai Egyesület mellett művészeti szabadiskolát nyitott, majd 1923-tól a kezdeményezésére megalakult Jókai Egyesület Szépművészeti Osztályának (JESZO) lett a vezetője. 1932-ben az Ernst Múzeumban, 1935-ben pedig Pozsonyban mutatta be munkáit.
1923-tól a JESZO keretében működtette tovább rajziskoláját. Az egyesület lehetővé tette, hogy a mentor és tanítványai bármikor kiállíthattak, országos jellegű kiállításokat rendezhettek.
A Jókai Egyesület 1924. október 17-i alakuló ülésén Harmos Károly ismertette a JESZO célját: fejleszteni a város és annak környékének művészi életét. A szépművészeti osztály ezután nagy lelkesedéssel fogott neki feladatának. Hét szakosztályt építettek ki és a programból elsősorban a kiállítások rendszeresítését kezdték meg. Az érdeklődés Komárom központisága miatt igencsak nagy volt, és ez jó jelnek látszott.
1924-ben volt az első tavaszi tárlaton 25 festő 250 képpel szerepelt. Az egész kiállítás rendkívül vegyes volt.
Az itt kiállított munkák alkotói között ott volt például Harmos Károly mellett Komáromi-Kacz Endre, Basilides Barna, Reichenthal Ferenc, Feszty Masa, Rauscher György, Basilides Sándor, Nagy Márton, Lenhardt György. Ugyanezen év októberében Kassán a Kazinczy Társaság rendezésében nyílt meg a magyar művészek csoportos kiállítása, amelyen 245 tárgyat állítottak ki, ezen belül 21 Harmos képet. Ezt az első tárlatot soron követte az évenkénti tavaszi és téli kiállítás. Három éven keresztül Komáromban a legpezsgőbb művészi élet uralkodott, egészen 1927-ig.
Ebből a Harmos-iskolából számos későbbi jó nevű festőművész került ki.
Sajnálatos módon nem minden tehetség váltotta be a hozzá fűzött reményeket, Harmos fáradozásai azonban semmiképp sem bizonyultak hiábavalónak, a fiatalok a munka szeretetét, derűs életszemléletet és művészi hivatástudatot kaptak tőle útravalóul a nagybetűs Élethez. Ugyan egyéni művészetük más irányba fejlődött, azonban kezdetben mesterük szecessziós szimbolikája nagyban rányomta bélyegét munkáikra.
Ilyen egykori tanítványa volt például Basilides Barna, Basilides Sándor, Leszenszky László, Nagy Márton, Rauscher György, Rafael Viktor Győző, Lőrincz Gyula, Zmeták Ernő, Árpássy Béla, Csicsátka Ottokár, Pleidell János és Staudt Mihály is.
Továbbra is nagy életkedvvel dolgozott folyamatosan, hozzájutott pár nagyszabású megbízatáshoz is. 1941-ben újra Budapesten mutatkozik meg egy kiállítással. Ugyanebben az évben falképet festett a komáromi vármegyeház nagytermébe, a megye múltjából vett jeleneteket felhasználva. Freskót készített többek között a tardoskeddi, érsekújvári, nagymegyeri katolikus templomba és a komáromi Szent András-templomba is. Ő festette meg a csallóközaranyosi és a csúzi katolikus templom oltárképét is.
A II. világháború idején azonban nagy tragédia érte: felesége, Révay Aranka tanítónő 1944 karácsonyakor a helyi nyilas terror áldozata lett.
Sírja a komáromi katolikus temetőben
1945 után Harmosra is keserves évek várnak, ám humora ekkor sem hagyja el. 1952-ben ezt jegyzi fel naplójába: „Rossz idők: micsoda élet! Legjobb meg sem születni, csakhogy ez ritkán fordul elő valakivel.” Bölcs derűvel néz a jövőbe: „Az én szakaszjegyem lejárt, de olyan jó a kalauz, hogy még pár évig hagy döcögni.
Azonban egy előrehaladott tüdőrák a nagy művészt sem kímélte: 1956. január 24-én hunyt el Észak-Komáromban.
Emléktáblája a Duna Menti Múzeum főépületének falán
Emlékére képzőművészeti alkotótábort rendeznek.
Ugyancsak emlékére avatták fel az észak-komáromi Duna Menti Múzeum falán Nagy János szobrászművész által készített emléktábláját 2000. november 17-én. A relief alatt elhelyezett tábla szövege szlovákul és magyarul: "Ebben az épületben élt és alkotott Harmos Károly festőművész" "A festőművész alapítója és elnöke volt a Jókai Egyesület Szépművészeti Osztályának, és lelkes szervezője Komárom művészeti életének."
2005-ben a Komáromi Klapka György Múzeum „Harmos Károly és kora - komáromi képzőművészek a 20. század első felében” címmel nyitott emlékkiállítást, saját és a Duna Menti Múzeum gyűjteményéből. A tárlatot dr. Gaál Ida, a Duna Menti Múzeum művészettörténésze nyitotta meg. A megnyitón jelen volt egykori tanítványa, Leszenszky László festőművész is.
Leszenszky László festőművész, Számadó Emese múzeumigazgató és Gaál Ida művészettörténész s 2005-ös kiállítás megnyitóján
2019-ben, születésének 140. évfordulóján az észak-komáromi Jókai Színházban az életművét bemutató időszaki kiállítást rendeztek, amelyet Csekei Tímea, a Duna Menti Múzeum művészettörténésze nyitott meg.
Néhány képe a Komáromi Klapka György Múzeum gyűjteményében is megtalálható.
Harmos Károly: Szenvedés (Komáromi Klapka György Múzeum gyűjteménye)
Harmos Károly: Templomból kijövet. (Komáromi Klapka György Múzeum gyűjteménye)
Pokornyi Gábor