Снова Франк нанял Клеймана в 1938 году, в качестве бухгалтера для своих предприятий 'Opekta' и 'Pectacon', но близкими друзьями они были уже пять лет, с 1933 года, когда семья Франков обосновалась в Амстердаме. Им пришлось покинуть Германию (Germany), когда к власти пришли нацисты, и началось преследование евреев.
Клейман стал членом совета директоров 'Opekta', и компания даже была основана по его домашнему адресу на протяжении следующих пяти месяцев, пока не переехала в конце 1940 года по адресу Принсенграхт, 263 (Prinsengracht). Официально Йоханнес Клейман исполнял обязанности бухгалтера для 'Opekta' и 'Pectacon', работая с Виктором Кюглером (Victor Kugler) и секретарем Беп Фоскёйл (Bep Voskuijl) для 'Pectacon', и Отто Франком и его секретарем Мип Гиз (Miep Gies) для 'Opekta'. Когда Отто Франку и его семье пришлось скрыться, чтобы избежать отправки их старшей дочери Марго (Margo Frank) в трудовой лагерь, Клейман, Кюглер, Гиз и Фоскёйл укрыли их в пустовавших комнатах конторы и взяли на себя обеспечение беглецов продовольствием и товарами первой необходимости.
Когда неизвестный информатор донес властям, что в здании 'Opekta' устроено убежище для евреев, гестапо произвело арест Франков, ван Пельсов и Пфеффера 4 августа 1944 года, выплатив предателю вознаграждение за каждого арестованного. Клеймана и Кюглера арестовали за укрывательство евреев – это автоматически делало их преступниками, - и после допроса в штаб-квартире гестапо их с Кюглером перевели в тюрьму, предназначенную для евреев и политических заключенных, ожидавших депортации в концлагеря. Клеймана поместили в трудовой лагерь Амерсфорт (Amersfoort), однако по специальному разрешению, вытребованному сотрудниками Красного Креста (Red Cross), его отпустили на свободу по причине нездоровья. В общей сложности, он был узником нацистского режима около шести недель.
После публикации дневника Анны Франк, в котором девочка подробно описывала два года ее жизни в убежище, Клейман регулярно общался с журналистами и посетителями в бывшем тайнике, который освободился в начале 50-х годов. Он очень активно участвовал в создании фонда Анны Франк (Anne Frank Foundation), основанного 3 мая 1957 года, но не дожил до того времени, когда бывшее здание конторы превратилось в Дом-музей Анны Франк (Anne Frank Huis). Музей был открыт 3 мая 1960 года.
Йоханнес Клейман умер прямо за своим столом, 28 января 1959 года, в возрасте 62 лет.