Update README.md

README.md

@@ -89,25 +89,46 @@ KLUE 태스크 중 일부(모델 크기 Base 기준)
 | Model | Avg | YNAT | KLUE-STS | KLUE-NLI | KLUE-NER | KLUE-RE | KLUE-MRC |
 |---|---|---|---|---|---|---|---|
 |  |  | MacroF1 | PearsonR / F1 | Accuracy | Ent. MacroF1 / Chr. MacroF1 | MicroF1 / AUC | EM / RougeW |
-| Kiwi COCO-LM | 82.34 | 86.15 | 92.23 / 86.90 | 87.87 | 84.44 / 93.02 | 65.36 / 69.67 | 71.38 / 77.00 |
-| KLUE RoBERTa | 80.44 | 85.99 | 92.68 / 85.89 | 85.63 | 83.47 / 90.77 | 63.11 / 63.54 | 68.98 / 73.60 |
-| KoELECTRA | 77.79 | 86.05 | 93.13 / 86.23 | 87.23 | 85.59 / 92.61 | 59.09 / 53.44 | 55.18 / 61.68 |
-| A.X-Encoder | 82.91 | 85.77 | 92.58 / 86.33 | 87.37 | 87.63 / 93.29 | 65.74 / 68.40 | 74.97 / 79.70 |
-| KF-DeBERTa | 82.89 | 86.53 | 92.63 / 87.45 | 87.73 | 85.26 / 92.62 | 67.16 / 70.38 | 72.92 / 77.73 |
-| ModernBERT | 62.36 | 77.05 | 76.63 / 69.62 | 67.40 | 74.96 / 86.15 | 39.40 / 29.13 | 39.51 / 44.02 |
-| mmBERT | 79.33 | 84.24 | 90.51 / 81.58 | 83.30 | 85.49 / 92.42 | 61.95 / 69.06 | 65.26 / 70.65 |
+| **Kiwi COCO-LM** | 82.34 | 86.15 | 92.23 / 86.90 | **87.87** | 84.44 / 93.02 | 65.36 / 69.67 | 71.38 / 77.00 |
+| **KLUE RoBERTa** | 80.44 | 85.99 | 92.68 / 85.89 | 85.63 | 83.47 / 90.77 | 63.11 / 63.54 | 68.98 / 73.60 |
+| **KoELECTRA** | 77.79 | 86.05 | **93.13** / 86.23 | 87.23 | 85.59 / 92.61 | 59.09 / 53.44 | 55.18 / 61.68 |
+| **A.X-Encoder** | **82.91** | 85.77 | 92.58 / 86.33 | 87.37 | **87.63** / **93.29** | 65.74 / 68.40 | **74.97** / **79.70** |
+| **KF-DeBERTa** | 82.89 | **86.53** | 92.63 / **87.45** | 87.73 | 85.26 / 92.62 | **67.16** / **70.38** | 72.92 / 77.73 |
+| **ModernBERT** | 62.36 | 77.05 | 76.63 / 69.62 | 67.40 | 74.96 / 86.15 | 39.40 / 29.13 | 39.51 / 44.02 |
+| **mmBERT** | 79.33 | 84.24 | 90.51 / 81.58 | 83.30 | 85.49 / 92.42 | 61.95 / 69.06 | 65.26 / 70.65 |
 
 GLUE 태스크 중 일부
 | Model | Avg | SST2 | CoLA | MRPC | STS-B | QQP | MNLI | QNLI | RTE | WNLI |
 |---|---|---|---|---|---|---|---|---|---|---|
 |  |  | Accuracy | MCC | Accuracy / F1 | PearsonR / SpearmanRho | Accuracy / F1 | Accuracy | Accuracy | Accuracy | Accuracy |
-| Kiwi COCO-LM | 83.02 | 93.01 | 61.16 | 90.93 / 93.47 | 91.00 / 90.79 | 91.12 / 88.10 | 87.64 | 93.26 | 83.03 | 56.34 |
-| KLUE RoBERTa | 70.75 | 87.27 | 4.45 | 83.82 / 88.26 | 85.24 / 84.92 | 89.44 / 85.50 | 79.78 | 86.78 | 63.54 | 56.34 |
-| KoELECTRA | 69.49 | 81.65 | 11.84 | 86.03 / 89.69 | 84.48 / 84.24 | 86.35 / 80.87 | 72.73 | 84.94 | 62.09 | 56.34 |
-| A.X-Encoder | 74.99 | 90.48 | 24.23 | 85.05 / 89.32 | 87.55 / 87.41 | 90.28 / 86.90 | 83.53 | 91.05 | 66.07 | 56.34 |
-| KF-DeBERTa | 71.34 | 86.47 | 9.25 | 85.05 / 89.57 | 86.81 / 86.54 | 88.34 / 84.10 | 78.46 | 88.19 | 63.18 | 56.34 |
-| ModernBERT | 80.30 | 95.30 | 86.52 | 86.52 / 90.30 | 90.00 / 89.95 | 90.83 / 87.74 | 88.73 | 93.34 | 66.43 | 49.30 |
-| mmBERT | 81.01 | 93.69 | 60.79 | 87.75 / 91.38 | 90.81 / 90.79 | 91.35 / 88.42 | 87.46 | 93.06 | 80.14 | 43.66 |
+| **Kiwi COCO-LM** | **83.02** | 93.01 | 61.16 | **90.93** / **93.47** | **91.00** / **90.79** | 91.12 / 88.10 | 87.64 | 93.26 | **83.03** | **56.34** |
+| **KLUE RoBERTa** | 70.75 | 87.27 | 4.45 | 83.82 / 88.26 | 85.24 / 84.92 | 89.44 / 85.50 | 79.78 | 86.78 | 63.54 | **56.34** |
+| **KoELECTRA** | 69.49 | 81.65 | 11.84 | 86.03 / 89.69 | 84.48 / 84.24 | 86.35 / 80.87 | 72.73 | 84.94 | 62.09 | **56.34** |
+| **A.X-Encoder** | 74.99 | 90.48 | 24.23 | 85.05 / 89.32 | 87.55 / 87.41 | 90.28 / 86.90 | 83.53 | 91.05 | 66.07 | **56.34** |
+| **KF-DeBERTa** | 71.34 | 86.47 | 9.25 | 85.05 / 89.57 | 86.81 / 86.54 | 88.34 / 84.10 | 78.46 | 88.19 | 63.18 | **56.34** |
+| **ModernBERT** | 80.30 | **95.30** | **61.92** | 86.52 / 90.30 | 90.00 / 89.95 | 90.83 / 87.74 | **88.73** | **93.34** | 66.43 | 49.30 |
+| **mmBERT** | 81.01 | 93.69 | 60.79 | 87.75 / 91.38 | 90.81 / **90.79** | **91.35** / **88.42** | 87.46 | 93.06 | 80.14 | 43.66 |
+
+### Tokenizer
+
+위 표에 나온 모델들의 tokenizer가 한국어와 영어를 얼마나 효율적으로 처리하는지 비교했습니다. 한국어 샘플 문서(6,162 바이트, 534 어절)와 영어 샘플 문서(4,503 바이트, 693 단어)를 토큰화한 결과이며, 자세한 분석 방법과 전체 결과는 [korean-tokenizer-analysis](https://github.com/bab2min/korean-tokenizer-analysis)에서 확인할 수 있습니다.
+
+| Model | 방식 | 전체 vocab 수 | 한글 포함 vocab 수 | 한국어 어절당 토큰 수 | 한국어 토큰당 바이트 수 | 영어 단어당 토큰 수 | 드문 음절 16개 중 UNK 수 |
+|---|---|---:|---:|---:|---:|---:|---:|
+| **Kiwi COCO-LM** | Byte-level BPE | 64,000 | 26,858 (41.97%) | 2.37 | 4.87 | 1.31 | **0** |
+| **KLUE RoBERTa** | WordPiece | 32,000 | 28,445 (88.89%) | 2.41 | 4.79 | 2.54 | 14 |
+| **KoELECTRA** | WordPiece | 35,000 | 29,021 (82.92%) | 2.44 | 4.73 | 2.48 | 10 |
+| **A.X-Encoder** | WordPiece | 50,000 | 24,084 (48.17%) | 2.54 | 4.54 | 1.89 | **0** |
+| **KF-DeBERTa** | WordPiece | 130,000 | 104,522 (80.40%) | **2.19** | **5.26** | 1.62 | 10 |
+| **ModernBERT** | Byte-level BPE | 50,368 | 25 (0.05%) | 7.12 | 1.62 | 1.30 | **0** |
+| **mmBERT** | BPE (byte fallback) | 256,000 | 2,295 (0.90%) | 3.30 | 3.50 | **1.24** | **0** |
+
+- 토큰 수에는 [CLS], [SEP] 등 특수 토큰을 포함하지 않았습니다. 어절(단어)은 공백 문자로 나눈 단위입니다.
+- **드문 음절 16개 중 UNK 수**: `걁`, `겼`, `긂`, `깄`, `뇄`, `렜`, `뢔`, `뢨`, `붴`, `뻤`, `쌘`, `얬`, `칢`, `텼`, `퉜`, `홥`처럼 잘 쓰이지 않는 한글 음절 16개를 각각 토큰화했을 때 `[UNK]`로 처리되어 원래 글자를 잃어버린 음절 수입니다.
+
+Kiwi COCO-LM의 tokenizer는 한국어 어절당 2.37토큰으로, 한국어 전용 WordPiece tokenizer인 KLUE RoBERTa(2.41), KoELECTRA(2.44)와 비슷하거나 조금 더 효율적입니다. 동시에 영어는 단어당 1.31토큰으로, 원본인 ModernBERT(1.30)와 거의 같은 효율을 유지합니다. 한국어 효율이 가장 좋은 KF-DeBERTa(2.19)는 vocab 크기가 Kiwi COCO-LM의 2배가 넘고 영어 효율은 떨어집니다(1.62). 또한 Kiwi COCO-LM의 tokenizer는 Byte-level BPE를 사용하기 때문에 WordPiece 기반 tokenizer와 달리 어떤 글자도 `[UNK]`로 처리되지 않습니다.
+
+한편 ModernBERT는 한글 vocab이 25개뿐이라 한국어를 대부분 UTF-8 바이트 단위로 쪼개며, 어절당 7.12토큰으로 Kiwi COCO-LM보다 약 3배 많은 토큰을 사용합니다. 같은 8192 토큰 길이 안에 담을 수 있는 한국어 텍스트 분량이 그만큼 적다는 뜻입니다.
 
 ## Limitations