github地址
一、rust環(huán)境配置
參考

二、編譯
1、修改cmakelists.txt，支持x86和64編譯(tokenizers_c庫，原始版本windows下只支持64位)

修改頂層CMakeLists.txt文件（77行），支持x86編譯
elseif (CMAKE_SYSTEM_NAME STREQUAL "Windows")#set(TOKENIZERS_CPP_CARGO_TARGET x86_64-pc-windows-msvc)if(CMAKE_SIZEOF_VOID_P EQUAL 4)set(TOKENIZERS_CPP_CARGO_TARGET i686-pc-windows-msvc)message(STATUS "Targeting 32-bit architecture")elseif(CMAKE_SIZEOF_VOID_P EQUAL 8)set(TOKENIZERS_CPP_CARGO_TARGET x86_64-pc-windows-msvc)message(STATUS "Targeting 64-bit architecture")else()message(FATAL_ERROR "Unsupported architecture")endif()
endif()

2、生成項目以及編譯lib

debugcmake .. -G "Visual Studio 16 2019" -A Win32 -DCMAKE_BUILD_TYPE=Debugcmake --build . --config DebugPS: vs2019 win32
releasecmake .. -G "Visual Studio 16 2019" -A Win32 -DCMAKE_BUILD_TYPE=Releasecmake --build . --config Release

PS：請采用控制臺編譯，不然tokenizers_c.lib不可控，可能與預(yù)期編譯debug/release不匹配

三、demo編寫

1、依賴庫
ws2_32.lib;Userenv.lib;Ntdll.lib;Bcrypt.lib;

2、模型下
模型下載地址
PS：目前測試的模型，輸入的中文逗號，輸出都會被轉(zhuǎn)換為英文逗號，所以比較加密后再解密時，數(shù)據(jù)肯定不一致

模型一：有多余數(shù)據(jù)（固定256）

模型二：此模型可選，無多余數(shù)據(jù)

模型三：此模型加載時間2s多

模型四：谷歌模型
PS：支持的不友好，輸入：你好啊，歡迎來到中國，Nice to meet you
輸出有[UNK]標(biāo)識，Nice無法識別，導(dǎo)致加解密出來數(shù)據(jù)不一致

模型五：此模型和模型四差不多，但沒模型四的問題
3、demo效果