Human-in-the-Loop Data Curation and Preference Optimization for Vietnamese Non-Verbal Text-to-Speech

Presented in VLSP 2026, 2026

Authors: Tri-Nhan Do, Minh-Khang Le, Hoang-Minh Tran, Thanh-Hau Luong, Long-Hai Tran, Viet-Lam Phung

🏆 First Place in both Track A (seen speakers) and Track B (zero-shot voice cloning) of the VLSP 2026 shared task on Vietnamese Non-Verbal Text-to-Speech for Conversational Synthesis (Team SpeechWorld).

Few open text-to-speech (TTS) models can render non-verbal vocalizations (NVs) such as laughter, breathing, sniffing and throat clearing, and fewer still support Vietnamese. We describe our system for the VLSP 2026 ViNV-TTS shared task, which requires each tagged NV to be rendered at its intended position while the voice of the target speaker is preserved. Starting from a multilingual masked generative TTS model, we build a human-in-the-loop pipeline in which listener judgments decide all training signal. Human listening turns a small, noisily tagged corpus into clean single-NV examples, selects the best of the model’s own synthesized speech as additional training data, and supplies preference pairs for Direct Preference Optimization, which we adapt to masked token prediction by estimating sequence likelihoods from masked-token log-probabilities. The pipeline teaches the model all four NV classes from a few dozen clean examples of the rarest ones, and on the public test, preference optimization yields the largest improvement in NV placement at a small cost in speaker similarity.

Slides

Interactive Experiment Map

The full experiment notebook (in Vietnamese): data flow per tag, listening rounds, per-checkpoint results, model architecture and the NVPA probe, with playable samples. Open full screen ↗

Audio Samples

Generated by the submitted system from self-written sentences, using two preset voices of VieNeu-TTS as references (no organizer audio or text). Each clip is the best of 4 seeds, so these are selected rather than random samples.

Reference voice · MaleVieNeu-TTS preset 05

0:00

Reference voice · FemaleVieNeu-TTS preset 04

0:00
Laughtermale voice

Hôm qua tôi đi chợ quên mang ví, đứng trả tiền mới biết [laughter] ngại không để đâu cho hết.

0:00
Laughterfemale voice

[laughter] Thôi chị ơi, em nói thật mà, con mèo nhà em nó tự mở được tủ lạnh luôn.

0:00
Laughtermale voice

Thằng bé nhà tôi bảo lớn lên muốn làm siêu nhân để khỏi phải đi học [laughter]

0:00
Laughterfemale voice

Lúc đầu em cứ tưởng anh ấy nói đùa [laughter] ai ngờ anh ấy làm thật.

0:00
Breathingmale voice

Leo hết chín tầng cầu thang mới tới nơi [breathing] thang máy lại đang sửa.

0:00
Breathingfemale voice

[breathing] Được rồi, mình bắt đầu lại từ đầu nhé, lần này chậm hơn một chút.

0:00
Breathingmale voice

Tôi vừa chạy bộ quanh hồ ba vòng xong, giờ mệt quá [breathing]

0:00
Breathingfemale voice

Chuyện này em nghĩ mãi rồi [breathing] em vẫn muốn thử thêm một lần nữa.

0:00
Sniffmale voice

Trời trở lạnh nên tôi bị sổ mũi mấy hôm nay [sniff] uống thuốc mãi chưa khỏi.

0:00
Snifffemale voice

[sniff] Xin lỗi, xem phim đến đoạn cuối em không cầm được nước mắt.

0:00
Sniffmale voice

Mùi phở ở đầu ngõ thơm quá, sáng nào đi qua tôi cũng phải dừng lại [sniff]

0:00
Snifffemale voice

Mẹ gọi điện hỏi bao giờ về quê [sniff] em chỉ biết nói là sắp rồi.

0:00
Throat clearingmale voice

[throatclearing] Xin chào các bạn, hôm nay chúng ta sẽ nói về kế hoạch của quý tới.

0:00
Throat clearingfemale voice

Theo số liệu mới nhất [throatclearing] doanh thu tháng này tăng khoảng mười phần trăm.

0:00
Throat clearingmale voice

Tôi xin phép phát biểu thêm một ý nhỏ [throatclearing] trước khi kết thúc cuộc họp.

0:00
Throat clearingfemale voice

Cảm ơn mọi người đã lắng nghe, có câu hỏi gì thì cứ hỏi nhé [throatclearing]

0:00

Paper

Competition Award Certificates

VLSP Competition Award – First Rank, presented at the 12th Workshop on Vietnamese Language and Speech Processing (VLSP 2026), Ho Chi Minh City, Vietnam, November 15, 2026.

VLSP 2026 First Rank certificate – ViNV-TTS Track A VLSP 2026 First Rank certificate – ViNV-TTS Track B

At the VLSP 2026 Workshop

Oral presentation of the SpeechWorld ViNV-TTS system at VLSP 2026 VLSP 2026 ViNV-TTS award ceremony: SpeechWorld first in Track A and Track B Receiving the VLSP 2026 award certificate VLSP 2026 workshop group photo