Subword: Từ con, từ tố, chữ, ...

[lkhphuc]

Tiếng anh thì họ có character -> word.
Tiếng việt mình có chữ cái (một kí tự) -> chữ (một âm) -> từ (một nghĩa).

Ở tiếng anh bên Linguistic xen giữa character và word thì họ có morpheme - hình vị / từ tố = đơn vị nhỏ nhất có ý nghĩa (và có thể nhiều cái khác nữa).
Bên NLP thì họ xài subword, theo mình hiểu là chỉ chung cho nhiều phương pháp tách từ khác nhau như BPE, wordpiece, sentencepiece các kiểu https://medium.com/@makcedward/how-subword-helps-on-your-nlp-model-83dd1b836f46

Mình thấy bác @LongNguyen1984 đang dịch subword là từ tố, tức là bằng với morpheme, mình thấy nghe khá hay nhưng sợ không chuẩn.

• Từ con
• Từ tố -- tách từ theo ý nghĩa
• Chữ -- tách từ theo âm
• Thành phần từ -- https://trituenhantao.io/tu-dien-thuat-ngu/subword/

[minhduc0711]

yeah có vẻ từ con chuẩn hơn

[lkhphuc]

Chắc đúng nhất mình sẽ sử dụng cách dịch generic thay vì từ tố .. trong linguistic. Có điều mình thấy từ này không hay lắm, từ con lại liên tưởng tới từ cha, từ mẹ mình lại liên tưởng tới origin of word.

Subword = phân từ, phân là phần trong thành phần từ, mọi người thấy sao? @minhduc0711 @rootonchair @quangnhat185 @cuongvng @davidnvq

subword embedding = embedding phân từ

[davidnvq]

từ phân khá hay, giờ mới chú ý tới nghĩa Hán Việt của từ này. Điều mình hơi lăn tăn là phân từ trùng với nghĩa từ particle trong Linguistic.

[cuongvng]

em cũng thấy dễ nhầm với particle

[LongNguyen1984]

Từ phân thì nó lại liên quan tới từ 'shit' nên hạn chế dùng từ này. Ngày xưa các cụ dịch sách Tàu gặp các từ kiểu này cũng phải tìm cách nói trại đi vì đọc lên sẽ rất kỳ.

[rootonchair]

Em nghĩ dịch là từ con là hợp lý. Các từ như subtask, subsystem đều được dịch ra là tác vụ con, hệ thống con nhằm ám chỉ một đơn vị nhỏ hơn cấu thành cho danh từ đi sau. Nhiều subtask cấu thành 1 task, nhiều subsystem cấu thành một system. Mặc dù em vẫn chưa hiểu việc hiểu nhầm nó trong bối cảnh origin of word cho lắm