Finetune OmniVoice (k2-fsa/OmniVoice, commit 38e992b) để sinh tiếng Việt có 4 âm non-verbal. Mỗi exp train từ model gốc, data train được chọn bằng nhãn người nghe.
Bản tốt nhất của mỗi chặng, cùng 330 câu public test và cùng seed. Gộp A / B là điểm proxy theo công thức chính thức của BTC, chỉ giữ NVPA (proxy), 1 − aWER và SS (xem thanh bên dưới). ★ = bản đã nộp BTC.
Ô sáng = tốt nhất trong cột. AudioSet = tỉ lệ tag có nhãn AudioSet đúng loại, độc lập với probe NVPA. Im lặng = câu có khoảng lặng giữa câu > 0,6 s. NV thừa = tiếng NV mỗi câu ở chỗ không có tag.
Công thức chính thức theo trang cuộc thi (vlsp.org.vn/vlsp2026/eval/vinvtts): A = 0,3 NVPA + 0,2 SN + 0,2 Q + 0,1 (1 − WER) + 0,1 (1 − aWER) + 0,1 SS; B = 0,3 NVPA + 0,15 SN + 0,15 Q + 0,1 (1 − WER) + 0,1 (1 − aWER) + 0,2 SS; mọi thành phần quy về 0–1. NVPA, SN, Q và WER (nghe SUS) do người của BTC chấm (gạch chéo là phần mình không tính được); aWER (Zipformer-30M BTC, bỏ tag) và SS (cosine ECAPA với giọng tham chiếu) là phần tự động. Proxy thay NVPA người chấm bằng NVPA proxy, giữ 1 − aWER và SS, rồi chia cho tổng trọng số (0,5 ở Track A, 0,6 ở Track B). DNSMOS không nằm trong công thức, chỉ đo để tham khảo. Track A (giọng đã thấy) nặng SN và Q; Track B (giọng chưa thấy) nặng SS.
Mỗi tag 4 câu, sinh bằng đúng Docker image nộp BTC (exp22, num_step 32, guidance 2,0). Không dùng audio hay text của BTC: giọng tham chiếu là 2 giọng preset của VieNeu-TTS (đã cắt bỏ tiếng hắng giọng ở đầu), text tự viết. Mỗi câu sinh 4 seed (1234, 1, 2, 3) và giữ bản có P(tag) của probe NVPA cao nhất, nên đây là mẫu đã chọn, không phải mẫu ngẫu nhiên: seed 1234 một mình đạt 8/16 tag theo proxy, chọn trong 4 seed đạt 14/16. Giọng VieNeu là giọng đọc tổng hợp, khác giọng hội thoại BTC mà model đã học, nên khó hơn public test.
Hôm qua tôi đi chợ quên mang ví, đứng trả tiền mới biết [laughter] ngại không để đâu cho hết.
giọng nam · seed 3 · P(laughter) 0.85[laughter] Thôi chị ơi, em nói thật mà, con mèo nhà em nó tự mở được tủ lạnh luôn.
giọng nữ · seed 3 · P(laughter) 0.67Thằng bé nhà tôi bảo lớn lên muốn làm siêu nhân để khỏi phải đi học [laughter]
giọng nam · seed 1 · P(laughter) 0.33 · proxy đoán throatclearingLúc đầu em cứ tưởng anh ấy nói đùa [laughter] ai ngờ anh ấy làm thật.
giọng nữ · seed 2 · P(laughter) 0.74Leo hết chín tầng cầu thang mới tới nơi [breathing] thang máy lại đang sửa.
giọng nam · seed 1234 · P(breathing) 0.92[breathing] Được rồi, mình bắt đầu lại từ đầu nhé, lần này chậm hơn một chút.
giọng nữ · seed 3 · P(breathing) 0.54Tôi vừa chạy bộ quanh hồ ba vòng xong, giờ mệt quá [breathing]
giọng nam · seed 1 · P(breathing) 0.49Chuyện này em nghĩ mãi rồi [breathing] em vẫn muốn thử thêm một lần nữa.
giọng nữ · seed 3 · P(breathing) 0.88Trời trở lạnh nên tôi bị sổ mũi mấy hôm nay [sniff] uống thuốc mãi chưa khỏi.
giọng nam · seed 2 · P(sniff) 0.99[sniff] Xin lỗi, xem phim đến đoạn cuối em không cầm được nước mắt.
giọng nữ · seed 2 · P(sniff) 1.00Mùi phở ở đầu ngõ thơm quá, sáng nào đi qua tôi cũng phải dừng lại [sniff]
giọng nam · seed 1234 · P(sniff) 0.94Mẹ gọi điện hỏi bao giờ về quê [sniff] em chỉ biết nói là sắp rồi.
giọng nữ · seed 3 · P(sniff) 0.75[throatclearing] Xin chào các bạn, hôm nay chúng ta sẽ nói về kế hoạch của quý tới.
giọng nam · seed 2 · P(throatclearing) 0.98Theo số liệu mới nhất [throatclearing] doanh thu tháng này tăng khoảng mười phần trăm.
giọng nữ · seed 1 · P(throatclearing) 0.40 · proxy đoán breathingTôi xin phép phát biểu thêm một ý nhỏ [throatclearing] trước khi kết thúc cuộc họp.
giọng nam · seed 1 · P(throatclearing) 0.95Cảm ơn mọi người đã lắng nghe, có câu hỏi gì thì cứ hỏi nhé [throatclearing]
giọng nữ · seed 3 · P(throatclearing) 0.96Đoạn BTC được forced-align, cắt mỗi đoạn một tiếng NV rồi nghe và gán Chọn / Loại / Un-use. Sau khi train lại, 3 checkpoint của lần này sinh data vòng 1.
audio_embeddings và audio_heads; lr 1e-4, 500 bướcNVPA = tỉ lệ tag sinh đúng loại, đúng chỗ (probe AST + MMS align). Gộp = NVPA proxy, 1 − aWER và SS theo công thức BTC. Im lặng = câu có khoảng lặng giữa câu > 0,6 s.
400 câu BTC train (100 câu mỗi tag, mỗi câu một tag; tag giữa câu 250, cuối 97, đầu 53). Giọng tham chiếu là một câu khác của cùng speaker. Sinh với num_step 32, guidance 2,0, class_temperature 1,0, tắt denoise. Trang chấm giấu tên checkpoint và xáo A/B/C theo câu; chấm đủ 3 audio thì thẻ hiện checkpoint của từng audio (exp20a ck500 full finetune, exp20b ck250 LoRA, exp20b ck500 LoRA). Tab Thống kê trong trang chấm cho tiến độ và kết quả theo checkpoint, theo tag.
| Checkpoint | Probe NV khớp | WER | Im lặng | Độ dài TB |
|---|---|---|---|---|
| exp20a ck500 | 71,8% | 4,6% | 12,0% | 5,78 s |
| exp20b ck250 | 63,5% | 5,7% | 9,2% | 5,83 s |
| exp20b ck500 | 71,3% | 4,0% | 9,0% | 5,79 s |
# mở trang chấm cd exp21_synthesis/01_labeling python3 server.py # http://127.0.0.1:8792 python3 server.py 8792 --lan
Phím: V giọng gốc · 1–3 nghe quanh tag · Z / X / C Tốt / Được / Hỏng · N cả 3 Hỏng · J / K câu sau / trước.
Giữ nguyên 5 bộ data của exp20, thêm bộ x21_good gồm mọi audio vòng 1 được chấm Tốt (nhãn mới nhất của mỗi câu, không phân biệt checkpoint nào sinh). Cùng train config với exp20.
| Bộ | Nguồn | Đoạn | Lặp |
|---|---|---|---|
| x20_laugh | laughter BTC, trừ Loại / Un-use | 647 | ×1 |
| x20_breath | breathing BTC đã Chọn | 89 | ×4 |
| x20_sniff | sniff BTC đã Chọn (train + dev) | 12 | ×8 |
| x20_throat | throatclearing BTC 19 + VieNeu-TTS 60, đã Chọn | 79 | ×4 |
| x20_bare | bare BTC, prompt 30–60% | 500 | ×1 |
| x21_good | audio vòng 1 được chấm Tốt (laughter 92 · breathing 92 · sniff 119 · throat 96) | 399 | ×4 |
cd exp21_synthesis/02_finetune
python3 make_items.py # audio Tốt -> exp21_items.jsonl
BTC=... VIENEU=... OV=... WORK=... bash run_train.sh
Đã kiểm lại: x21_good chỉ gồm audio có mức Tốt. Trong 399 câu chấm đủ có 399 audio Tốt, 313 Được, 485 Hỏng; cả 399 audio đã train trên H100 (work_exp21/x21_good_tok.jsonl) đều là Tốt, không lấy audio Được.
Mốc so sánh là exp20b ck500, tốt nhất của exp20. AudioSet = tỉ lệ tag có nhãn AudioSet đúng loại (thước đo độc lập với probe NVPA).
So với exp20b ck500, exp21a tăng rõ ở laughter (0,28 → 0,40–0,45) và sniff (0,77 → 0,93–0,95), nhưng breathing giảm (0,74 → 0,61–0,69). Nhánh LoRA (exp21b) kém nhánh full, trừ throatclearing ở ck500 (1,00) và im lặng (9,1%).
400 câu BTC train (100 câu mỗi tag, mỗi câu một tag; tag giữa câu 233, cuối 108, đầu 59). Giọng tham chiếu là một câu khác của cùng speaker. Mỗi câu 2 audio của exp21a: bản bám chữ (class_temperature 0, guidance 2,5, bật denoise) và bản biểu cảm (class_temperature 1,0, guidance 2,0, tắt denoise), num_step 32. Trang chấm giấu tên bản và xáo A/B theo câu; nhiều người chấm cùng lúc, điểm lưu theo tên. Tab Dashboard cho kết quả chung.
| Bản | Probe NV khớp | WER | Im lặng | SS | DNSMOS |
|---|---|---|---|---|---|
| bám chữ | 60,5% | 3,8% | 17,0% | 0,686 | 3,21 |
| biểu cảm | 66,5% | 4,2% | 11,0% | 0,675 | 3,11 |
cd exp22_rlhf/scripts bash 01_label.sh 8793 --lan # trang chấm bash 02_label_stats.sh # tiến độ, kết quả
Phím: V giọng gốc · 1 2 nghe quanh tag · Z / X / C Tốt / Được / Hỏng · N cả 2 Hỏng · J / K câu sau / trước.
Trong cùng một câu, audio được chấm Tốt thắng audio Được hoặc Hỏng (audio thắng luôn là Tốt). LoRA r64 gắn lên exp21a ck500; tắt adapter thì ra đúng exp21, dùng làm model tham chiếu. Vì OmniVoice sinh bằng cách đoán lại token bị che, điểm của một audio được ước lượng bằng log-xác suất của token bị che, với đầu vào dựng giống hệt lúc sinh.
Lượt chạy thử trước đó dùng nhãn giả từ đo tự động (582 cặp, init exp20b ck500): NVPA 0,685 → 0,889, nhưng nhãn giả dựng từ chính probe NVPA nên chỉ để kiểm pipeline.
work_exp22/eval)Hai lượt trước bị dừng: lượt 669 cặp (gồm cả Được > Hỏng) huỷ ở bước 110 để đổi sang chỉ lấy audio thắng là Tốt; một lượt hết bộ nhớ vì GPU 0 đang bận việc khác.
cd exp22_rlhf/scripts
bash 03_make_pairs.sh --src x22 --src round1 --win-min 2 # x22 = nhãn vòng 2
bash 04_dpo.sh && bash 05_eval.sh
Mốc là exp21a ck500 (init). NV thừa = số tiếng NV mỗi câu ở chỗ không có tag.
Audio được tokenizer Higgs Audio v2 biến thành token RVQ: mỗi 40 ms là một frame, mỗi frame 8 token từ 8 codebook (1 giây = 25 frame = 200 token). Qwen3 cộng 8 embedding của một frame thành 1 vị trí, rồi đoán lại cả 8 tầng song song ở những vị trí bị che, unmask dần qua nhiều bước. DPO dựng lại đúng đầu vào đó với audio thắng / thua làm đích, so điểm của model đang học (có LoRA) với model tham chiếu (tắt LoRA).
Gói kèm sẵn đầu ra của bước 01–06, nên người tái lập có thể bắt đầu từ bước 07. Bước 02, 04, 06 đã chạy lại trên laptop và khớp bản đi kèm gói.
01_align_btc.shforced-align BTC train + dev02_cut_btc.shcắt đoạn, mỗi đoạn một tiếng NV03_align_vieneu.shalign câu VieNeu-TTS04_make_manifests.shmanifest cho tool gán nhãn05_label.shngười nghe gán Chọn / Loại / Un-use06_make_items.shchọn data theo nhãn07_train.shtrain a + b, merge LoRA08_eval.sheval public test, tổng hợpLaptop giữ bản chính của mã nguồn và nhãn. H100 giữ checkpoint nặng. Lần đồng bộ đã đối chiếu checksum: 198 file mã nguồn, 60 wav VieNeu và 2.800 file audio vòng 1 khớp hai bên.
| Phần | Laptop · 06_vlsp/ | H100 · exp7_vlsp/ |
|---|---|---|
| Mã nguồn, nhãn, config | export_experiment/ | export_experiment/ ⇐ bản sao |
| OmniVoice dùng để train | export_experiment/third_party/OmniVoice | như laptop |
| Checkpoint exp20 | chỉ adapter LoRA exp20b ck500 | work_exp20/output_exp20a, output_exp20b (14 GB + 13 GB) |
| Eval public test exp20 | 03_finetuning/results/eval_public_test.json | work_exp20/eval/gen/x20{a,b}{250,500} |
| Audio vòng 1 | 01_labeling/page, wav | work_exp20/round1 (gói trỏ tới bằng symlink) |
| Nhãn vòng 1 | 01_labeling/labels.jsonl (chấm ở laptop) | đẩy lên khi train exp21 |
| exp21 | exp21_synthesis/02_finetune | work_exp21/output_exp21a (ck250, ck500), output_exp21b (merged-250, 500), eval/eval_public_test.json |
| Vòng 2 (audio + nhãn) | exp22_rlhf/01_labeling (chấm ở laptop, cổng 8793) | bản sao trong export_experiment/exp22_rlhf/01_labeling |
| exp22 DPO | exp22_rlhf/02_dpo/pairs.jsonl | work_exp22 (stage_exp22.sh, output_exp22, eval) |
| Lệnh đã chạy | src_h100/work_exp20_lenh_da_chay | work_exp20/_lenh_da_chay |
NVPA proxy kiểm tra mỗi tag NV có được sinh ra, đúng loại và đúng chỗ hay không. Đây là số dùng để so checkpoint trên public test; data train của mọi exp vẫn chọn bằng người nghe.
MIT/ast-finetuned-audioset) trên cửa sổ 0,5 s, bước 0,1 s; mỗi slot lấy max + mean các cửa sổ trong slot ± 0,1 s, cộng log độ dài slot.