《語言文字應用》推出中文信息處理專欄，并在第一期發(fā)表關(guān)于自動分詞的文章，極有意義，對引起爭鳴、加深研究很有好處。下面提出本人的不成熟的看法，供進一步討論。一 現(xiàn)行分詞規(guī)范中的問題

現(xiàn)行分詞規(guī)范GB13715（下面簡稱“規(guī)范”）雖經(jīng)過多次討論才定稿，但仍有一些問題。除了在該規(guī)范編制說明中解釋過的（有些解釋難以令人滿意）以外，再舉出一些：

（1）以詞類作為規(guī)范分詞單位的基礎(chǔ)。詞類系統(tǒng)本身尚無公認標準，如何將詞入類也尚無規(guī)范可循。如，許多人認為副詞是封閉的類，但有人指出某些詞如“全速”，“穩(wěn)步”，“大力”等能用做狀語且只能用做狀語，應歸入副詞，這樣一來副詞就不封閉了。

（2）動詞的重疊形式。規(guī)范要求把AAB形式的動詞切成AA/B，有時并不合理。如“散散/步”，“開開/心”，切開后語義上無法解釋。

（3）語綴。職務(wù)名稱“教育局長”，語義上理解為“教育局之長”，但按照規(guī)范只能切成“教育/局長”，不但不合語義，且同動賓結(jié)構(gòu)詞組相混。

（4）縮略詞語?？s略詞語如“中葡關(guān)系”，“巴以會談”，“穆克兩族”，“隴海線”，“京九鐵路”，“科工貿(mào)集團”、“老少邊窮地區(qū)”等切分原則不清楚。

（5）專名。國名不切分，一般機構(gòu)名要切分，這有可能造成兩難困境，因為國家有合法性等問題。二 不同的應用系統(tǒng)對分詞單位有不同要求

分詞規(guī)范難以統(tǒng)一，重要原因之一是不同的應用系統(tǒng)對分詞單位有不同的要求。例如：

（1）以詞為單位的鍵盤輸入系統(tǒng)為了提高輸入速度，把一些高頻詞組（甚至只是頻繁接續(xù)的幾個字）作為輸入的詞單位。

（2）校對系統(tǒng)將含有易錯字的詞和詞組作為分詞單位。此外，校對系統(tǒng)要求分詞單位較大，以便檢查被校對文章內(nèi)的詞間二元接續(xù)關(guān)系是否正確。

（3）簡繁轉(zhuǎn)換系統(tǒng)收集簡繁對應不唯一的字所組成的詞和詞組，以便在詞語層面上消除轉(zhuǎn)換的不確定性。

（4）語音合成系統(tǒng)收集多音字所組成的詞和詞組，以便在詞語層面上確定字的發(fā)音。

（5）檢索系統(tǒng)的詞庫注重術(shù)語和專名，且要求分詞單位較小，以便提高查全率。

（6）機器翻譯系統(tǒng)的漢語詞庫收詞要考慮同英文詞的對應。三 對分詞規(guī)范的設(shè)想

書面漢語是字的序列，詞沒有明確邊界。硬要把漢語的字序列切分成類似英語的詞的序列，即簡單地在字串內(nèi)加一些分隔符，會遇到無窮無盡的兩難問題，對于實用系統(tǒng)的開發(fā)會起阻礙作用。與其削足適履，不如從漢語的實際出發(fā)，放棄詞的剛性概念，制定一個柔性的、帶詞內(nèi)結(jié)構(gòu)的規(guī)范。我們初步設(shè)想該規(guī)范包括如下四部分和一個附則：

（1）分詞單位下界，即哪些情況不能切開。分詞單位可大可小，我們把作為下界的分詞單位稱作基本詞。許多情況下，基本詞就是GB13715所規(guī)定的分詞單位，但對GB13715中難以操作的和不統(tǒng)一的規(guī)則進行修改，總的原則是能切開的盡量切開（這里談的是基本詞的切分原則，不是分詞單位的切分原則）。比如：動賓、動補、偏正結(jié)構(gòu)中可擴展的一律切開，二字以上詞語的前加成分、后加成分同詞干一律切開，表示兒化音的“兒”同前面的詞一律切開，二字以上地名的通名與專名一律切開，國家名同一般機構(gòu)名一樣切分，表示月份、星期、陰歷日期的“月”、“星期”、“禮拜”、“初”同數(shù)字切開，重疊的動詞一律切開，表示概數(shù)的并列數(shù)字要切開，不成詞的并列縮略成分要切開，等等。

（2）分詞單位上界，即哪些情況必須同其相鄰成分切開，如標點符號同其相鄰成分之間，句內(nèi)主語謂語之間，結(jié)構(gòu)助詞“的”、“地”與其后鄰成分之間，多數(shù)連接詞與其相鄰成分之間，等等。

分詞單位上界應允許下列結(jié)構(gòu)成為一個分詞單位（但不是必須合起來）：簡單動賓、動補、形賓、形補、偏正結(jié)構(gòu)，動詞和形容詞的各種變形結(jié)構(gòu)（AAB，A了一B，ABAB，AABB等），時間短語，處所短語，數(shù)量名短語，數(shù)量短語，數(shù)詞短語，縮略語（包括部分縮略），地名上下級全稱，人名全稱，機構(gòu)名全稱，商品名全稱，術(shù)語全稱，詞綴所轄范圍，等等。

（3）上下界之間的分詞單位及其內(nèi)部結(jié)構(gòu)。在上下界之間，分詞單位的大小允許有較大的靈活性，只是要求組合型歧義字段和交集型歧義字段不能錯切，要求每個分詞單位都應是一個完整的語法成分，并給出內(nèi)部結(jié)構(gòu)。對分詞單位內(nèi)的結(jié)構(gòu)劃分方法，應分別不同情況給出若干規(guī)則。機構(gòu)名、裝置名、產(chǎn)品名等應該在定名時由權(quán)威部門或權(quán)威人士給出名內(nèi)結(jié)構(gòu)，如國內(nèi)機構(gòu)名由該該機構(gòu)或其上級管理部門給出名內(nèi)結(jié)構(gòu)，國外機構(gòu)應由有關(guān)部門在定出其漢譯名的同時給出名內(nèi)結(jié)構(gòu)。

（4）基本詞表。配合下界，應有一個基本詞的表，收集內(nèi)部不可切分之詞。非專名、非術(shù)語的基本詞應盡量收全，專名中可列舉的應專表列舉，常用基本術(shù)語應專表列出。

附則：對于支持上層應用系統(tǒng)的分詞系統(tǒng)，若上層應用系統(tǒng)沒有提出需要，可以不給出分詞單位的內(nèi)部結(jié)構(gòu)。

此外，考慮到語言學、信息處理方面的需要。可另有一個不屬于基本詞的常用詞語表，表內(nèi)的詞語應給出內(nèi)部結(jié)構(gòu)，入表與否的基本依據(jù)應是頻率。各個面向應用的分詞系統(tǒng)可以有自己的詞庫。各種詞表、詞庫的格式設(shè)計問題屬于語言學研究和軟件接口方面的問題，無須在規(guī)范中論及。

下面給出若干分詞單位內(nèi)部結(jié)構(gòu)實例：

（全 速），（壓 倒），（性 教育），（（不 能）不），（前 不久），（午 后），

（（十 （七 八））歲），（（中 ?。W） ，（（京 九）鐵路），（（科 工 貿(mào)）集團），

（峨眉（大 酒樓）），（（中華 人民 共和國）（（地質(zhì) 礦產(chǎn)）部）（地質(zhì) 科學院）），

（香港 （特別 行政區(qū)）），（牡丹 江），（（（古 生物）學）家），（（教育 局）長），

（（（（世界 戰(zhàn)爭）（（不 可）避免））論）者），（經(jīng)常 性），（（多 極） 化），

（計算 機），（中央 （處理 器）），（（（（正 負）電子）（對 撞）） 機），

（司馬 相如），（喬治 · 布什），（（散 散）步），（（散 了 散）步），

（五 分之 一），（（一九九七 年）（二 月）（（二 十 四） 日）），（（第 一）名），

（（哪 管）（三 七（二 十 一）））。（宋柔 北京工業(yè)大學計算機學院）

[i] 本文工作得到國家自然科學基金，國家863計劃，北京市自然科學基金，北京市教委研究發(fā)展基金的支持