Родился 7 августа 1858 г. в м.Кольне ломжынского уезда. Обучался в классической гиманзии (г.Сувалки), юнекерской школе (г.Варшава), Стрелковой школе для штабных офицеров (Санкт-Петербург).

В 1877 г. произведен в прапорщики, служил в 40-м пехотном полку, который дислоцировался в Варшаве. За открытое выражение польских национальных чувств был переведен в Самару на Волге. Во время русско-японской войны был и.д. командира 98-го и 97-го пехотных полков. В 1906 г. произведен в чин полковника. С 1910 г. командовал 185-го пехотным полком в Самаре. Вместе со своей частью выступил на Великую войну. В декабре 1914 г. после боев под Люблином и Красником был произведен в чин генерал-майора. Затем командовал бригадой 1-й гренадерской дивизии, а в 1915 г. возглавил это соединение. В сентябре 1916 г. назначен командиром отдельной Польской стрелковой бригады, переформированной познее в дивизию. В марте возглавил 153-ю пехотную дивизию. В июле того же года был ранен во время наступления в Галиции. Эвакуирован в Саратов. В апреле 1918 г. Каетан Болеслав Ольшевский был арестован советскими властями, однако вскоре ему удалось бежать и добраться до Варшавы.

В конце октября 1918 г. генерал Ольшевский был принят в польскую армию и назначен командующим местного инспектората в Люблине. 29 ноября 1918 г. возглавил генеральный округ "Кельце", затем округ "Лодзь". Летом 1920 г. занимался организацией обороны переправ через Вислу на участке своего округа. В январе 1921 г. назначен председателем Центральной контрольной комиссии личного состава Войска Польского. В связи с преклонным возрастом, 14 февраля этого же года генерал Ольшевский подал в отставку. В ноябре 1923 г. произведен в чин титулярного генерала брони (полного генерала) со старшинстом с 1 июня 1919 г. В 1924-1925 гг. был Волынским воеводою. Умер 20 августа 1944 г. во время Вашавского восстания.