VLSP 2026 · ViNV-TTS

Bản đồ ViNV-TTS

Finetune OmniVoice (k2-fsa/OmniVoice, commit 38e992b) để sinh tiếng Việt có 4 âm non-verbal. Mỗi exp train từ model gốc, data train được chọn bằng nhãn người nghe.

[laughter][breathing][sniff][throatclearing]
đã xong
exp20
Model nền
Data đã gán nhãn: đoạn BTC được Chọn + 60 câu hắng giọng VieNeu-TTS. Full finetune và LoRA, 500 bước.
đã chấm
vòng 1
exp20 sinh, người chấm
400 câu × 3 checkpoint exp20, 4 người chấm mù. Dùng 399 câu (1 câu chấm dở bị loại): 399 audio Tốt, 609 cặp ưu tiên.
đã xong
exp21
Train lại với data tổng hợp
Data exp20 + 399 audio vòng 1 được chấm Tốt (×4), 500 bước. Tốt nhất exp21a ck500: NVPA 0,685 → 0,742, gộp A 0,774 → 0,804, gộp B 0,726 → 0,764 (so với exp20b ck500).
đang chấm
vòng 2
exp21a sinh, người chấm
400 câu × 2 bản exp21a (bám chữ, biểu cảm), nhiều người chấm mù. 166 / 400 câu chấm đủ.
đã xong
exp22
RLHF (DPO)
DPO trên exp21a ck500 với 483 cặp, audio thắng luôn là Tốt (436 cặp vòng 1 + 47 cặp vòng 2). NVPA 0,742 → 0,875, gộp A 0,804 → 0,865; SS giảm 0,748 → 0,68. Bản nộp: ck300.
từ nguồn đến exp22

Luồng data xuyên suốt

XỬ LÝ DATA căn chỉnh tag, cắt đoạn trước khi nghe BTC ViNV-TTS 2.055 câu train + dev audio + transcript có tag Căn chỉnh tag MMS forced-align → khung thời gian từng tag Cắt đoạn 1 tiếng NV mỗi đoạn · lề ±50 ms bỏ < 1 s, > 15 s · 82 đoạn 2 tag bỏ VieNeu active21 4.556 clip chỉ góp throatclearing laughter breathing sniff throatclearing bare (không tag) NGUỒN BTC 2.055 câu: align, cắt mỗi đoạn 1 tiếng NV (82 đoạn 2 tag: bỏ) BTC 744 đoạn train 647 · dev 97 BTC 4.267 đoạn train 3.609 · dev 658 BTC 69 đoạn train 59 · dev 10 BTC 117 đoạn + VieNeu-TTS 4.556 câu [hắng giọng] BTC 4.592 đoạn lời sạch, không tag NGƯỜI NGHE · LẦN 1 gán Chọn / Loại / Un-use trên tool web Không nghe lấy hết, trừ Loại / Un-use theo luật Nghe 212 / 4.267 Chọn 89 Loại 111 Un-use 12 Nghe 69 / 69 Chọn 12 Loại 56 Un-use 1 BTC: Chọn 19 / 117 Loại 92 · Un-use 6 VieNeu: Chọn 60 / 409 Loại 324 · Un-use 25 Không nghe 500 đoạn train ngẫu nhiên, seed 20 theo luật DATA EXP20 1.915 lượt / epoch dev: laughter 97, bare 705 647 × 1 = 647 lượt 89 × 4 = 356 lượt 12 × 8 = 96 lượt (19 + 60) × 4 = 316 lượt 500 × 1 = 500 lượt TRAIN EXP20 2 nhánh song song, cùng data, cùng 500 bước ★ = checkpoint sinh vòng 1 data exp20 · 1.915 lượt / epoch · khởi đầu từ k2-fsa/OmniVoice · tách 2 nhánh a · Full finetune Cập nhật toàn bộ 670M tham số lr 1e-5 · 500 bước · 2 × H100 NVPA public test laughter .24 breathing .65 sniff .84 throat .90 ck250 ck500 ★ sinh vòng 1 b · LoRA r64 → merge Train 57M / 670M tham số (8,5%) · α 128 LoRA ở q k v o gate up down; train cả audio embedding / head lr 1e-4 · 500 bước · 2 × H100 NVPA public test laughter .28 breathing .74 sniff .77 throat .94 ck250 ★ sinh vòng 1 ck500 ★ sinh vòng 1 3 checkpoint ★ → 3 audio / câu VÒNG 1 · SINH a ck500 · b ck250 · b ck500 × 400 câu = 1.200 audio chấm đủ thì hiện checkpoint 100 câu 300 audio, 3 mỗi câu A / B / C xáo theo câu probe khớp 50% 100 câu 300 audio, 3 mỗi câu A / B / C xáo theo câu probe khớp 66% 100 câu 300 audio, 3 mỗi câu A / B / C xáo theo câu probe khớp 84% 100 câu 300 audio, 3 mỗi câu A / B / C xáo theo câu probe khớp 75% không sinh NGƯỜI NGHE · LẦN 2 4 người chấm mù, 399 câu Tốt → exp21 Tốt > Được / Hỏng → exp22 300 audio Tốt 92 Được 101 · Hỏng 107 300 audio Tốt 92 Được 60 · Hỏng 148 300 audio Tốt 119 Được 88 · Hỏng 93 297 audio · 99 câu Tốt 96 Được 64 · Hỏng 137 DATA EXP21 data exp20 + 399 audio Tốt ×4 = 3.511 lượt / epoch 647 + 92 × 4 = 1.015 lượt 92 audio Tốt 356 + 92 × 4 = 724 lượt 92 audio Tốt 96 + 119 × 4 = 572 lượt 119 audio Tốt 316 + 96 × 4 = 700 lượt 96 audio Tốt 500 × 1 = 500 lượt như exp20 TRAIN EXP21 2 nhánh như exp20 chọn checkpoint tốt nhất theo eval public test data exp21 · 3.511 lượt / epoch (exp20 + 399 audio Tốt × 4) · khởi đầu từ k2-fsa/OmniVoice · tách 2 nhánh a · Full finetune Toàn bộ 670M tham số · lr 1e-5 500 bước · cùng config exp20 ck250 ck500 b · LoRA r64 → merge 57M tham số · α 128 · lr 1e-4 500 bước · cùng config exp20 ck250 ck500 dùng lại data exp20 (5 bộ) cặp vòng 1 · Tốt > Được / Hỏng exp21a sinh vòng 2 VÒNG 2 · SINH exp21a × 400 câu = 800 audio 2 bản: bám chữ, biểu cảm xáo A / B theo câu NGƯỜI NGHE · LẦN 3 nhiều người chấm mù, theo tên 166 / 400 câu chấm đủ EXP22 · CẶP ƯU TIÊN audio thắng luôn là Tốt vòng 1: 436 · vòng 2: 47 train 427 · val 56 EXP22 · DPO 1 × H100 lưu ck100 / ck200 / ck300 EVAL PUBLIC TEST 330 câu · Track A + B không sinh 100 câu 200 audio, 2 mỗi câu probe khớp bám 15% · biểu 38% 100 câu 200 audio, 2 mỗi câu probe khớp bám 61% · biểu 63% 100 câu 200 audio, 2 mỗi câu probe khớp bám 84% · biểu 88% 100 câu 200 audio, 2 mỗi câu probe khớp bám 82% · biểu 77% 42 / 100 câu Tốt 62 Được 17 · Hỏng 6 42 / 100 câu Tốt 48 Được 9 · Hỏng 27 42 / 100 câu Tốt 64 Được 8 · Hỏng 12 40 / 100 câu Tốt 40 Được 14 · Hỏng 26 — 119 cặp vòng 1: 106 · vòng 2: 13 Tốt > Được / Hỏng 108 cặp vòng 1: 94 · vòng 2: 14 Tốt > Được / Hỏng 132 cặp vòng 1: 126 · vòng 2: 6 Tốt > Được / Hỏng 124 cặp vòng 1: 110 · vòng 2: 14 Tốt > Được / Hỏng DPO (RLHF) · LoRA r64 · β 0,1 · lr 5e-5 · 300 bước × 8 cặp init + tham chiếu = exp21a ck500 (tắt adapter) · log-xác suất token bị che, 4 lần che mỗi audio ck100 ck200 ck300 val acc ưu tiên 0,68 từ bước 50 → 300 · train acc 1,0 exp21a ck500 → init + tham chiếu exp21a ck500 · init NVPA 0,742 · AudioSet 56,5% WER 3,0% · SS 0,748 gộp A 0,804 · B 0,764 DPO ck100 NVPA 0,847 · AudioSet 77,0% WER 2,8% · SS 0,719 gộp A 0,849 · B 0,829 DPO ck200 NVPA 0,875 · AudioSet 85,8% WER 2,8% · SS 0,682 gộp A 0,865 · B 0,824 DPO ck300 ★ nộp NVPA 0,875 · AudioSet 83,8% WER 2,7% · SS 0,678 gộp A 0,853 · B 0,838
nguồn người nghe làm đo trên public test nhánh a · full finetune nhánh b · LoRA ★ checkpoint sinh vòng 1 mỗi cột một tag · mũi tên mang màu của tag
Đọc theo cột để theo một tag từ data BTC thô đến exp22. Hàng đầu là bước xử lý chung: căn chỉnh vị trí tag bằng MMS forced-align rồi cắt mỗi câu thành đoạn chỉ chứa một tiếng NV (và đoạn lời không tag); VieNeu active21 chỉ góp throatclearing. Sau đó mỗi tag qua cùng chuỗi: nguồn, người nghe chọn, data exp20, train, sinh vòng 1, người nghe chấm, data exp21, train exp21, DPO. Số cặp ở hàng DPO gồm cả 47 cặp từ vòng 2 (chưa vẽ vòng 2 trong sơ đồ, xem phần Vòng 2). laughter và bare không qua người nghe lần 1 mà lấy theo luật; bare không sinh ở vòng 1 và vào exp21 nguyên như exp20. Số ở hàng data là số đoạn × số lần lặp = lượt mỗi epoch.
public test 330 câu · Track A + B

Summary Result

Bản tốt nhất của mỗi chặng, cùng 330 câu public test và cùng seed. Gộp A / B là điểm proxy theo công thức chính thức của BTC, chỉ giữ NVPA (proxy), 1 − aWER và SS (xem thanh bên dưới). ★ = bản đã nộp BTC.

Ô sáng = tốt nhất trong cột. AudioSet = tỉ lệ tag có nhãn AudioSet đúng loại, độc lập với probe NVPA. Im lặng = câu có khoảng lặng giữa câu > 0,6 s. NV thừa = tiếng NV mỗi câu ở chỗ không có tag.

Điểm final của BTC · công thức chính thức so với proxy đang dùng

Track A · BTC
NVPA0.30SN0.20Q0.201-WER0.101-aWER0.10SS0.10
Track A · proxy
NVPA0.601-aWER0.20SS0.20
Track B · BTC
NVPA0.30SN0.15Q0.151-WER0.101-aWER0.10SS0.20
Track B · proxy
NVPA0.501-aWER0.17SS0.33

Công thức chính thức theo trang cuộc thi (vlsp.org.vn/vlsp2026/eval/vinvtts): A = 0,3 NVPA + 0,2 SN + 0,2 Q + 0,1 (1 − WER) + 0,1 (1 − aWER) + 0,1 SS; B = 0,3 NVPA + 0,15 SN + 0,15 Q + 0,1 (1 − WER) + 0,1 (1 − aWER) + 0,2 SS; mọi thành phần quy về 0–1. NVPA, SN, Q và WER (nghe SUS) do người của BTC chấm (gạch chéo là phần mình không tính được); aWER (Zipformer-30M BTC, bỏ tag) và SS (cosine ECAPA với giọng tham chiếu) là phần tự động. Proxy thay NVPA người chấm bằng NVPA proxy, giữ 1 − aWER và SS, rồi chia cho tổng trọng số (0,5 ở Track A, 0,6 ở Track B). DNSMOS không nằm trong công thức, chỉ đo để tham khảo. Track A (giọng đã thấy) nặng SN và Q; Track B (giọng chưa thấy) nặng SS.

model nộp bài (exp22) · 16 câu tự viết · giọng VieNeu-TTS

Nghe thử

Mỗi tag 4 câu, sinh bằng đúng Docker image nộp BTC (exp22, num_step 32, guidance 2,0). Không dùng audio hay text của BTC: giọng tham chiếu là 2 giọng preset của VieNeu-TTS (đã cắt bỏ tiếng hắng giọng ở đầu), text tự viết. Mỗi câu sinh 4 seed (1234, 1, 2, 3) và giữ bản có P(tag) của probe NVPA cao nhất, nên đây là mẫu đã chọn, không phải mẫu ngẫu nhiên: seed 1234 một mình đạt 8/16 tag theo proxy, chọn trong 4 seed đạt 14/16. Giọng VieNeu là giọng đọc tổng hợp, khác giọng hội thoại BTC mà model đã học, nên khó hơn public test.

Giọng tham chiếu

giọng nam · VieNeu preset-05 (Hải Đăng)
giọng nữ · VieNeu preset-04 (Mai Anh)
[laughter]
  • Hôm qua tôi đi chợ quên mang ví, đứng trả tiền mới biết [laughter] ngại không để đâu cho hết.

    giọng nam · seed 3 · P(laughter) 0.85
  • [laughter] Thôi chị ơi, em nói thật mà, con mèo nhà em nó tự mở được tủ lạnh luôn.

    giọng nữ · seed 3 · P(laughter) 0.67
  • Thằng bé nhà tôi bảo lớn lên muốn làm siêu nhân để khỏi phải đi học [laughter]

    giọng nam · seed 1 · P(laughter) 0.33 · proxy đoán throatclearing
  • Lúc đầu em cứ tưởng anh ấy nói đùa [laughter] ai ngờ anh ấy làm thật.

    giọng nữ · seed 2 · P(laughter) 0.74
[breathing]
  • Leo hết chín tầng cầu thang mới tới nơi [breathing] thang máy lại đang sửa.

    giọng nam · seed 1234 · P(breathing) 0.92
  • [breathing] Được rồi, mình bắt đầu lại từ đầu nhé, lần này chậm hơn một chút.

    giọng nữ · seed 3 · P(breathing) 0.54
  • Tôi vừa chạy bộ quanh hồ ba vòng xong, giờ mệt quá [breathing]

    giọng nam · seed 1 · P(breathing) 0.49
  • Chuyện này em nghĩ mãi rồi [breathing] em vẫn muốn thử thêm một lần nữa.

    giọng nữ · seed 3 · P(breathing) 0.88
[sniff]
  • Trời trở lạnh nên tôi bị sổ mũi mấy hôm nay [sniff] uống thuốc mãi chưa khỏi.

    giọng nam · seed 2 · P(sniff) 0.99
  • [sniff] Xin lỗi, xem phim đến đoạn cuối em không cầm được nước mắt.

    giọng nữ · seed 2 · P(sniff) 1.00
  • Mùi phở ở đầu ngõ thơm quá, sáng nào đi qua tôi cũng phải dừng lại [sniff]

    giọng nam · seed 1234 · P(sniff) 0.94
  • Mẹ gọi điện hỏi bao giờ về quê [sniff] em chỉ biết nói là sắp rồi.

    giọng nữ · seed 3 · P(sniff) 0.75
[throatclearing]
  • [throatclearing] Xin chào các bạn, hôm nay chúng ta sẽ nói về kế hoạch của quý tới.

    giọng nam · seed 2 · P(throatclearing) 0.98
  • Theo số liệu mới nhất [throatclearing] doanh thu tháng này tăng khoảng mười phần trăm.

    giọng nữ · seed 1 · P(throatclearing) 0.40 · proxy đoán breathing
  • Tôi xin phép phát biểu thêm một ý nhỏ [throatclearing] trước khi kết thúc cuộc họp.

    giọng nam · seed 1 · P(throatclearing) 0.95
  • Cảm ơn mọi người đã lắng nghe, có câu hỏi gì thì cứ hỏi nhé [throatclearing]

    giọng nữ · seed 3 · P(throatclearing) 0.96
exp20 → vòng 1 → exp21 → vòng 2 → exp22

Experiments

exp20_base_backbone

exp20 · model nền từ data đã gán nhãn

Đoạn BTC được forced-align, cắt mỗi đoạn một tiếng NV rồi nghe và gán Chọn / Loại / Un-use. Sau khi train lại, 3 checkpoint của lần này sinh data vòng 1.

Data train mỗi epoch: 1.915 lượt

Hai nhánh train

a · full
lr 1e-5, 500 bước, 2 × H100
b · LoRA
r64, alpha 128, kèm audio_embeddings và audio_heads; lr 1e-4, 500 bước
lưu
ck250, ck500; nhánh b merge thành model đầy đủ
eval loss
a 4,763 → 4,694 · b 4,589 → 4,570
gói kèm
adapter LoRA exp20b ck500 (229 MB)

Public test 330 câu · Track A + B

NVPA = tỉ lệ tag sinh đúng loại, đúng chỗ (probe AST + MMS align). Gộp = NVPA proxy, 1 − aWER và SS theo công thức BTC. Im lặng = câu có khoảng lặng giữa câu > 0,6 s.

NVPA theo tag

exp21_synthesis/01_labeling

Vòng 1 · exp20 sinh, người chấm

400 câu BTC train (100 câu mỗi tag, mỗi câu một tag; tag giữa câu 250, cuối 97, đầu 53). Giọng tham chiếu là một câu khác của cùng speaker. Sinh với num_step 32, guidance 2,0, class_temperature 1,0, tắt denoise. Trang chấm giấu tên checkpoint và xáo A/B/C theo câu; chấm đủ 3 audio thì thẻ hiện checkpoint của từng audio (exp20a ck500 full finetune, exp20b ck250 LoRA, exp20b ck500 LoRA). Tab Thống kê trong trang chấm cho tiến độ và kết quả theo checkpoint, theo tag.

Đo tự động lúc sinh (chỉ để tham khảo)

CheckpointProbe NV khớpWERIm lặngĐộ dài TB
exp20a ck50071,8%4,6%12,0%5,78 s
exp20b ck25063,5%5,7%9,2%5,83 s
exp20b ck50071,3%4,0%9,0%5,79 s

Chấm

Tốt
đúng NV, ngữ điệu tự nhiên, giống giọng gốc → vào data train exp21
Được
chấp nhận được nhưng chưa hay
Hỏng
sai NV, lệch giọng, lỗi, im lặng, sai lời
kết quả
399 / 400 câu chấm đủ (th052 chấm dở, loại), 4 người: nhandt23, khang, hải, minhth21
# mở trang chấm
cd exp21_synthesis/01_labeling
python3 server.py          # http://127.0.0.1:8792
python3 server.py 8792 --lan

Phím: V giọng gốc · 1–3 nghe quanh tag · Z / X / C Tốt / Được / Hỏng · N cả 3 Hỏng · J / K câu sau / trước.

exp21_synthesis/02_finetune

exp21 · Labeled Data (BTC+Synthetic)

Giữ nguyên 5 bộ data của exp20, thêm bộ x21_good gồm mọi audio vòng 1 được chấm Tốt (nhãn mới nhất của mỗi câu, không phân biệt checkpoint nào sinh). Cùng train config với exp20.

Phối data

BộNguồnĐoạnLặp
x20_laughlaughter BTC, trừ Loại / Un-use647×1
x20_breathbreathing BTC đã Chọn89×4
x20_sniffsniff BTC đã Chọn (train + dev)12×8
x20_throatthroatclearing BTC 19 + VieNeu-TTS 60, đã Chọn79×4
x20_barebare BTC, prompt 30–60%500×1
x21_goodaudio vòng 1 được chấm Tốt (laughter 92 · breathing 92 · sniff 119 · throat 96)399×4
cd exp21_synthesis/02_finetune
python3 make_items.py      # audio Tốt -> exp21_items.jsonl
BTC=... VIENEU=... OV=... WORK=... bash run_train.sh

Đã kiểm lại: x21_good chỉ gồm audio có mức Tốt. Trong 399 câu chấm đủ có 399 audio Tốt, 313 Được, 485 Hỏng; cả 399 audio đã train trên H100 (work_exp21/x21_good_tok.jsonl) đều là Tốt, không lấy audio Được.

Train trên 2 × H100

a · full
500 bước; loss cuối 4,586
b · LoRA
500 bước; loss cuối 4,515; merge ck250, ck500
eval loss
a 4,702 → 4,734 · b 4,681 → 4,767
chọn
exp21a ck500: NVPA, SS, gộp A cao nhất → init cho exp22

Public test 330 câu · Track A + B

Mốc so sánh là exp20b ck500, tốt nhất của exp20. AudioSet = tỉ lệ tag có nhãn AudioSet đúng loại (thước đo độc lập với probe NVPA).

NVPA theo tag

So với exp20b ck500, exp21a tăng rõ ở laughter (0,28 → 0,40–0,45) và sniff (0,77 → 0,93–0,95), nhưng breathing giảm (0,74 → 0,61–0,69). Nhánh LoRA (exp21b) kém nhánh full, trừ throatclearing ở ck500 (1,00) và im lặng (9,1%).

exp22_rlhf/01_labeling

Vòng 2 · exp21a sinh, người chấm

400 câu BTC train (100 câu mỗi tag, mỗi câu một tag; tag giữa câu 233, cuối 108, đầu 59). Giọng tham chiếu là một câu khác của cùng speaker. Mỗi câu 2 audio của exp21a: bản bám chữ (class_temperature 0, guidance 2,5, bật denoise) và bản biểu cảm (class_temperature 1,0, guidance 2,0, tắt denoise), num_step 32. Trang chấm giấu tên bản và xáo A/B theo câu; nhiều người chấm cùng lúc, điểm lưu theo tên. Tab Dashboard cho kết quả chung.

Đo tự động lúc sinh (chỉ để tham khảo)

BảnProbe NV khớpWERIm lặngSSDNSMOS
bám chữ60,5%3,8%17,0%0,6863,21
biểu cảm66,5%4,2%11,0%0,6753,11

Chấm · đang làm

tiến độ
166 / 400 câu chấm đủ (laughter 42 · breathing 42 · sniff 42 · throatclearing 40), 3 người: minhth21 71 · khang 66 · nhandt23 29
điểm TB
bám chữ 1,47 (Tốt 67%, Hỏng 20%) · biểu cảm 1,39 (Tốt 61%, Hỏng 22%)
theo tag
laughter 1,66 · sniff 1,62 · breathing 1,25 · throatclearing 1,18
→ exp22
47 cặp có audio thắng là Tốt
cd exp22_rlhf/scripts
bash 01_label.sh 8793 --lan   # trang chấm
bash 02_label_stats.sh        # tiến độ, kết quả

Phím: V giọng gốc · 1 2 nghe quanh tag · Z / X / C Tốt / Được / Hỏng · N cả 2 Hỏng · J / K câu sau / trước.

exp22_rlhf

exp22 · RLHF bằng DPO

Trong cùng một câu, audio được chấm Tốt thắng audio Được hoặc Hỏng (audio thắng luôn là Tốt). LoRA r64 gắn lên exp21a ck500; tắt adapter thì ra đúng exp21, dùng làm model tham chiếu. Vì OmniVoice sinh bằng cách đoán lại token bị che, điểm của một audio được ước lượng bằng log-xác suất của token bị che, với đầu vào dựng giống hệt lúc sinh.

Lượt chạy thử trước đó dùng nhãn giả từ đo tự động (582 cặp, init exp20b ck500): NVPA 0,685 → 0,889, nhưng nhãn giả dựng từ chính probe NVPA nên chỉ để kiểm pipeline.

Lượt chạy

trạng thái
xong: train 300 bước (1 H100), merge ck100 / 200 / 300, eval public test (work_exp22/eval)
init
exp21a ck500, cũng là model tham chiếu
data
483 cặp, audio thắng luôn là Tốt (Tốt > Hỏng 291, Tốt > Được 192; bỏ Được > Hỏng); train 427 · val 56 (tách theo speaker)
nguồn cặp
436 cặp nhãn vòng 1 (audio của 3 checkpoint exp20) + 47 cặp nhãn vòng 2 (audio exp21a)
cấu hình
--norm sum --beta 0.1 --lr 5e-5 · 300 bước × 8 cặp · LoRA r64
sơ bộ
val acc ưu tiên đứng ở 0,679 từ bước 50 đến 300 (56 cặp val), trong khi train acc 1,0 từ khoảng bước 70: học thuộc cặp train, chưa tổng quát thêm trên cặp chưa thấy; dù vậy public test tăng rõ (bên dưới).

Hai lượt trước bị dừng: lượt 669 cặp (gồm cả Được > Hỏng) huỷ ở bước 110 để đổi sang chỉ lấy audio thắng là Tốt; một lượt hết bộ nhớ vì GPU 0 đang bận việc khác.

cd exp22_rlhf/scripts
bash 03_make_pairs.sh --src x22 --src round1 --win-min 2   # x22 = nhãn vòng 2
bash 04_dpo.sh && bash 05_eval.sh

Public test 330 câu · Track A + B

Mốc là exp21a ck500 (init). NV thừa = số tiếng NV mỗi câu ở chỗ không có tag.

NVPA theo tag

tăng
NVPA 0,742 → 0,875; laughter 0,40 → 0,84; AudioSet (độc lập với probe) 56% → 86%; im lặng giữa câu 12% → 4%; WER 3,0% → 2,7%
giảm
SS 0,748 → 0,68 (ck200, ck300); NV thừa 3,2 → 4,4 mỗi câu; DNSMOS 3,34 → 3,27
chọn
Đã nộp ck300: NVPA cao nhất (cùng ck200), aWER thấp nhất, gộp B cao nhất (0,838), gộp A 0,853. ck100 giữ SS tốt nhất (chỉ −0,03); ck200 gộp A cao nhất (0,865).
k2-fsa/OmniVoice · exp22_rlhf/02_dpo/train_dpo.py

Kiến trúc OmniVoice và chỗ gắn RL

Audio được tokenizer Higgs Audio v2 biến thành token RVQ: mỗi 40 ms là một frame, mỗi frame 8 token từ 8 codebook (1 giây = 25 frame = 200 token). Qwen3 cộng 8 embedding của một frame thành 1 vị trí, rồi đoán lại cả 8 tầng song song ở những vị trí bị che, unmask dần qua nhiều bước. DPO dựng lại đúng đầu vào đó với audio thắng / thua làm đích, so điểm của model đang học (có LoRA) với model tham chiếu (tắt LoRA).

TOKENIZER Higgs Audio v2 dùng chung mọi exp OMNIVOICE · SINH backbone Qwen3-0.6B điền token bị che, không tự hồi quy RL · DPO (exp22) LoRA r64 trên exp21a ck500 tham chiếu = tắt adapter Audio 24 kHz 1 s = 24 000 mẫu giọng tham chiếu / đích Encoder hop 960 mẫu = 40 ms 25 frame / s, latent z RVQ 8 tầng 8 codebook × 1024 mã tầng sau sửa residual Token [8, T] 200 token / s ≈ 2 kbps trọng số loss 8, 8, 6, 6, 4, 4, 2, 2 style ngôn ngữ vi text ref_text + text đích (có tag) giọng tham chiếu token [8, T_ref] audio đích [MASK] × 8 tầng × T token hoá giọng tham chiếu text embedding token văn bản của Qwen3 audio_embeddings 8 × 1025 tầng k cộng offset k × 1025; Σ 8 embedding → 1 vị trí Qwen3-0.6B · attention hai chiều mỗi frame 40 ms là 1 vị trí trong context: 10 s audio = 250 vị trí (2.000 token RVQ) audio_heads 8 × 1025: đoán cả 8 tầng song song unmask dần 32 bước · ưu tiên tầng thấp lặp: điền dần chỗ [MASK] Decoder ×960 → waveform token [8, T] → 25 latent / s → 24 kHz Cặp ưu tiên cùng text, cùng giọng tham chiếu thắng = Tốt thua = Được / Hỏng Token hoá lại bằng tokenizer thắng [8, T₁] · thua [8, T₂] audio đã hậu xử lý → token gần đúng Che token đích tỉ lệ t ∈ [0,1; 1,0], 4 lần, phân tầng cùng lần che cho mọi nhánh Policy = OmniVoice + LoRA r64 LoRA ở q k v o gate up down; train cả audio_embeddings, audio_heads Reference = cùng model, tắt adapter = exp21a ck500, không cập nhật tính cùng cách, không lấy gradient s = Σ trọng số tầng × log p(token bị che), × số token đích (norm sum), trung bình 4 lần che loss = −log σ(β · [(s_θ(thắng) − s_ref(thắng)) − (s_θ(thua) − s_ref(thua))]) β 0,1 · lr 5e-5 · 300 bước × 8 cặp · gradient chỉ vào LoRA → merge thành model exp22 cùng forward như lúc sinh
Ba khung từ trên xuống: tokenizer (dùng chung mọi exp, không train), OmniVoice lúc sinh (đầu vào → embedding → Qwen3 → audio_heads, lặp unmask), và DPO của exp22. Policy và reference chạy cùng một forward như lúc sinh, chỉ khác bật / tắt adapter LoRA.

Số của tokenizer

sample rate
24 kHz, hop 960 mẫu → 25 frame / s
RVQ
8 codebook × 1024 mã (10 bit); tầng 1 xấp xỉ thô, mỗi tầng sau trừ dần residual
token
8 × 25 = 200 token / s ≈ 2 kbps; trong context LLM chỉ 25 vị trí / s
vocab audio
1025 mỗi tầng (1024 mã + 1 token mask), offset k × 1025 cho tầng k

DPO khác lúc train thường ở đâu

điểm audio
không có log-xác suất chính xác (sinh kiểu masked), nên ước lượng bằng log p của token bị che, gộp tầng theo trọng số 8, 8, 6, 6, 4, 4, 2, 2
tham chiếu
cùng model tắt adapter, nên không cần nạp model thứ hai
giảm nhiễu
cùng các lần che cho policy, reference, thắng, thua; tỉ lệ che chia đều theo 4 tầng
sau train
merge LoRA vào exp21a ck500 → model đầy đủ, eval như mọi exp
exp20_base_backbone/scripts

Tái lập exp20 · 8 bước

Gói kèm sẵn đầu ra của bước 01–06, nên người tái lập có thể bắt đầu từ bước 07. Bước 02, 04, 06 đã chạy lại trên laptop và khớp bản đi kèm gói.

  1. 0101_align_btc.shforced-align BTC train + dev
  2. 0202_cut_btc.shcắt đoạn, mỗi đoạn một tiếng NV
  3. 0303_align_vieneu.shalign câu VieNeu-TTS
  4. 0404_make_manifests.shmanifest cho tool gán nhãn
  5. 0505_label.shngười nghe gán Chọn / Loại / Un-use
  6. 0606_make_items.shchọn data theo nhãn
  7. 0707_train.shtrain a + b, merge LoRA
  8. 0808_eval.sheval public test, tổng hợp
đồng bộ laptop → H100 một chiều

Mọi thứ nằm ở đâu

Laptop giữ bản chính của mã nguồn và nhãn. H100 giữ checkpoint nặng. Lần đồng bộ đã đối chiếu checksum: 198 file mã nguồn, 60 wav VieNeu và 2.800 file audio vòng 1 khớp hai bên.

PhầnLaptop · 06_vlsp/H100 · exp7_vlsp/
Mã nguồn, nhãn, configexport_experiment/export_experiment/ ⇐ bản sao
OmniVoice dùng để trainexport_experiment/third_party/OmniVoicenhư laptop
Checkpoint exp20chỉ adapter LoRA exp20b ck500work_exp20/output_exp20a, output_exp20b (14 GB + 13 GB)
Eval public test exp2003_finetuning/results/eval_public_test.jsonwork_exp20/eval/gen/x20{a,b}{250,500}
Audio vòng 101_labeling/page, wavwork_exp20/round1 (gói trỏ tới bằng symlink)
Nhãn vòng 101_labeling/labels.jsonl (chấm ở laptop)đẩy lên khi train exp21
exp21exp21_synthesis/02_finetunework_exp21/output_exp21a (ck250, ck500), output_exp21b (merged-250, 500), eval/eval_public_test.json
Vòng 2 (audio + nhãn)exp22_rlhf/01_labeling (chấm ở laptop, cổng 8793)bản sao trong export_experiment/exp22_rlhf/01_labeling
exp22 DPOexp22_rlhf/02_dpo/pairs.jsonlwork_exp22 (stage_exp22.sh, output_exp22, eval)
Lệnh đã chạysrc_h100/work_exp20_lenh_da_chaywork_exp20/_lenh_da_chay
tools/nvpa

NVPA tính thế nào · probe train thế nào

NVPA proxy kiểm tra mỗi tag NV có được sinh ra, đúng loại và đúng chỗ hay không. Đây là số dùng để so checkpoint trên public test; data train của mọi exp vẫn chọn bằng người nghe.

CHẤM 1 AUDIO nvpa_proxy.py chạy cho mọi audio eval TRAIN PROBE train_probe.py chỉ audio thật BTC Text có tag thế thì [throatclearing] điều đấy… Audio cần chấm 24 kHz → 16 kHz, mono Tách chữ và tag tag ở slot k = số chữ đứng trước MMS_FA forced-align chữ la-tinh hoá → giờ của từng chữ AST (AudioSet) cửa sổ 0,5 s, bước 0,1 s → 768 chiều Cửa sổ của từng slot thế thì điều đấy nó chỉ có lợi… slot 2 hết “thì” → đầu “điều”, nới ± 0,1 s (viền đứt) Đặc trưng của slot max + mean các cửa sổ AST trong slot ± 0,1 s, + log độ dài slot Probe tuyến tính → laughter · breathing · sniff · throatclearing · none xác suất 5 lớp cho mỗi slot Slot có tag: trúng nếu lớp của tag là top-1 NVPA = số tag trúng / số tag Slot không có tag mà đoán ra NV → NV thừa báo cáo riêng, không trừ vào NVPA Audio thật BTC train 400 câu + dev tag do BTC ghi Cache đặc trưng align + AST + pool y hệt lúc chấm Logistic đa lớp cân bằng lớp, L2 tối ưu LBFGS nvpa_probe.pt trọng số dùng cho mọi số trong gói dùng lúc chấm Kiểm tra: 5 fold theo speaker (speaker test chưa từng thấy) chọn độ rộng slot (0,1 / 0,2 s) và L2 (0,1 / 0,3 / 1,0) theo balanced accuracy · dời mọi tag sang slot bên cạnh hoặc đổi lớp → hit rate phải sụp
Ví dụ “thế thì [throatclearing] điều đấy…”: tag nằm ở slot 2 (sau 2 chữ). Cửa sổ của slot là khoảng từ lúc hết chữ “thì” đến lúc bắt đầu chữ “điều”, nới thêm ± 0,1 s. Probe đoán throatclearing là lớp cao nhất ở slot đó thì tag tính là trúng.
slot
Tách text thành chữ và tag; mỗi tag nằm ở một slot (khoảng giữa hai chữ). Forced-align chữ với audio bằng MMS_FA (torchaudio, chữ Việt đã la-tinh hoá) → thời gian của từng slot.
đặc trưng
Nhúng audio bằng AST (MIT/ast-finetuned-audioset) trên cửa sổ 0,5 s, bước 0,1 s; mỗi slot lấy max + mean các cửa sổ trong slot ± 0,1 s, cộng log độ dài slot.
quyết định
Probe tuyến tính đoán 5 lớp (laughter, breathing, sniff, throatclearing, none) cho mỗi slot. Tag trúng khi lớp của nó là dự đoán cao nhất ở đúng slot đó. NVPA = số tag trúng / số tag. Slot không có tag mà probe đoán ra NV được đếm là NV thừa.
train probe
Chỉ học từ audio thật của BTC (train, lấy 400 câu, và dev): hồi quy logistic đa lớp, cân bằng lớp, có L2, tối ưu LBFGS. Không dùng audio tổng hợp nào.
kiểm tra
Kiểm tra chéo 5 fold theo speaker (speaker test chưa từng thấy). Chọn độ rộng slot và L2 theo balanced accuracy. Hai phép thử phải làm hit rate sụp: dời mọi tag sang slot bên cạnh, và đổi tag sang lớp khác, để chắc probe xét đúng chỗ và đúng loại.
giới hạn
Probe yếu nhất ở laughter (hay nghe thành breathing / throatclearing), nên mọi report kèm AudioSet làm thước đo độc lập; data train vẫn chọn bằng người nghe, không bằng NVPA.