發表文章

目前顯示的是有「nlp」標籤的文章

中文簡繁轉換兩三事 Opencc

 中文簡繁轉換之前是用 convertz ,一來應用程式已經不知道放哪兒去了,二來目前網站上的範例用的都是 opencc ,不想折騰就跟風了,結果還是折騰了一下。 工作環境:     Windows 10     Anaconda     Python 3 (3.6,3.8)         opencc, hanlp     MS Visual Studio Build Tool + VC         opencc v1.1.3  總結一下,要在 Windows 上使用  OpenCC ,大致上要裝 VC ,下載 Opencc 來編譯,設定引用檔案,複製引用檔案到專案資料夾,開始使用 OpenCC。  OpenCC 目前是放在 https://github.com/BYVoid/OpenCC 沒有已編譯好的執行檔,如果要的話,得自已編譯, 如果要用 python 處理,安裝倒是簡單 pip install opencc 然後就 import opencc converter = opencc.OpenCC('s2t.json') converter.convert('汉字') # 漢字 好在之前為了要抑制 python gensim 產生的提示訊息要 pip install python-Levenshtein 在安裝時環境所需已經先裝好了 VC(v142)  因為想要使用範例中的指令方式處理資料所以自已編譯 opencc ,照著 OpenCC 說明檔 git clone https://github.com/BYVoid/OpenCC.git  build.cmd test.cmd 之後到 build/bin 裏面去找執行檔就行  OpenCC 的 data 裏有 config, dictionary 在轉換時會用到,要用的時侯,複製到專案的資料夾中 OpenCC 才能作用,其中設定檔要改一下,因為沒有發現所需的 osd 檔,好在 t...

再探 NLP 筆記

 之前,忘了多久之前,曾經小小用過分詞工具,可以很快分詞幾百個字幾秒鐘就分好了,但是分詞結果很不理想,最近又想動手做個專案,可能會用到分詞,又去爬了爬文,還是無法繞過分詞,而分詞這工作,因為 AI 又有了一定程度的發展,除了傳統分詞方式,現在好像還可以借助 AI 之力(毒藥還是很可口的,所以敗亡之路,早已經舖好),要用 AI 了!?然後…連取得都有困難…, AI 果然讓人 I I 叫啊… 工作環境:     Windows 10 home     anaconda         base: python 3.8         paddle         jieba 一開始的時侯, anaconda 一直說找不到 paddle 的套件,後來在一個網站上看到用這個終於順利裝上了(paddlenlp),結果測試的時侯,還是出現了沒有找到 Paddle 的訊息,因為要從對岸的清大來源裝的時侯出現了錯誤訊息,只好再重新找如何安裝的 channel ,終於不用降版(很多文章都說要降版)就能裝了: pip install --upgrade paddlenlp -i https://pypi.org/simple   以為裝上了,結果測試的時侯,還是出現了沒有找到 Paddle 的訊息,因為要從對岸的清大來源裝的時侯出現了錯誤訊息,只好再重新找如何安裝的 channel ,好像很容易就可以裝好: conda install paddlepaddle PackagesNotFoundError: The following packages are not available from current channels: - paddlepaddle  搜索 anaconda :會出現很多來源,選一下 anaconda search -t conda paddlepadd...