找到相关 Issues 约为161个
搜索工具
排序方式：
最佳匹配
将输入的文本，使用tokenizer进行分词，得到token 2. 进行token to index，得到输入文本的index ## Describe the current behavior 1. 目前在mindspore的编程指南中，有分词器（tokenizer）
https://butalways1121.gitee.io/2019/12/06/Solr%E5%88%86%E8%AF%8D%E5%99%A8/
Steps to reproduce the issue 1. 当前针对txt文本处理算子，还不够丰富（如你是否发现某一种常用的分词操作当前是不支持的） 2. 请分析常用的txt算子，但当前mindsore却不支持，欢迎评论讨论后，基于py_transfo
搜索：webkit net 问题：搜索这样的词语会无法打开网页就卡死了别的没问题估计是分词死循环了。
以实现我们的想法。 ---- 先按不聚类的思想做，那就是对新来的训练样本，两个item，分别求分词，找到词标号，取词标号对应的特征，将每个item中所有的分词对应的特征相加，再除词个数求平均。 之后将两个item所得的新特征拼接或者取差的绝对值做svm
元周率是3.14的分词结果是： 元/周率/是/14/3.14/ 很奇怪为什么多了个14在前面 问题重现版本：friso-1.6
比如河北张家口蔚县去西瓜，要挂车，不压车，明天装车，382号7 。这个分词之后我想要得到里面的地名。有没有api可以返回地名的集合什么的呢？
ngodb在全文检索方面对中文的支持不好，网上参考了一些解决方案。主要是两个途径： ##1.使用分词库 将中文或者整份数据同步到分词库中，查询时直接查询分词库 ##2.增加字段 在mongo中添加一个字段，将中文转成英文或者unicode（这个没有试过
推荐博客
...