Az IBM Magyarország közvetlen magyarországi tevékenységét 1936-ban, Watson Electrical Bookkeeping Ltd. néven, 8 alkalmazottal és 10 000 dollár alaptőkével kezdte meg.

A cég 1947-ben International Business Machines Corporation Magyarországi Kft-re változtatta nevét. A hidegháború és a vasfüggöny kora nehéz időszakot jelentett az IBM számára - a cégek többsége állami tulajdonba került, amitől az IBM-en kívül csak néhány vállalat menekült meg. A mögöttes indok igen egyszerű volt: Az IBM gépei olyan nélkülözhetetlenek voltak, hogy a hatóságok nem merték veszélyeztetni a fontos adatfeldolgozási feladatok elvégzését (pl. az ország összes statisztikai adata IBM gépeken került feldolgozásra).

Az 1980-as évek eleje az egyre kiterjedtebb embargó-szabályozás következtében ismét nehéz időket hozott. Az IBM Magyarország a termékeknek csak egy szűk körét forgalmazhatta. Napjainkban a cég az IBM termékek és informatikai szolgáltatások teljes skáláját kínálja a tervezéstől a megvalósításig, továbbá üzleti tanácsadói tevékenységet is folytat.

Az IBM Magyarország székhelye a budapesti Infoparkban található. A termékek 90%-át disztribútorokon és üzleti partnereken keresztül értékesíti. A modell országszerte mintegy 100 partnert és az IBM termékek forgalmazására alkalmazott több száz embert ölel fel.