В 1939 компартия Индокитая была запрещена, и Во бежал в Китай. Его жена и двоюродная сестра были арестованы французскими властями и погибли в тюрьме. В 1940 Во Нгуен Зиап встретился с Хо Ши Мином и вскоре стал одним из его ближайших сподвижников. В 1944 организовал Вооруженную пропагандистскую бригаду, предшественницу Вьетнамской освободительной армии, которая сыграла ключевую роль в захвате государственной власти во время августовской революции 1945. В том же году стал одним из четырех членов могущественного Постоянного секретариата Центрального Комитета партии, предтечи Политбюро.
Во время 1-й Индокитайской войны был главнокомандующим вьетнамских вооруженных сил, выиграл сражение при Дьен Бьен Фу в 1954. В период ухудшения отношений между Китаем и СССР в начале 1960-х годов считался ревизионистом и был сослан в До Сон (недалеко от Хайфона), а многие из его соратников, военных командиров и единомышленников, были арестованы и брошены в тюрьмы. О Зиапе вспомнили, когда началась вьетнамская война. Он был назначен главнокомандующим вооруженных сил Северного Вьетнама. В конце 1976, после окончания войны, формально все еще оставаясь на посту министра обороны, он был лишен всех полномочий, которые перешли к генералу Ван Тьен Дунгу. В 1978 Зиап выступил против введения войск в Камбоджу. В марте 1982 был выведен из состава Политбюро, однако сохранил за собой пост заместителя председателя совета министров по вопросам научно-технического развития. В июле 1991 Зиап был выведен из состава Центрального Комитета партии и снят со всех постов.