IOS开发超强中文分词的实现方法
来源:爱站网时间:2020-11-18编辑:网友分享
我们在处理文本时,第一步通常是对字符串进行分段以获得关键字,而苹果很早就开始支持中文分词,现在几乎每天都在使用它,要了解的朋友,就随爱站技术频道小编来看看IOS开发超强中文分词的实现方法吧!
我们在处理文本时,第一步通常是对字符串进行分段以获得关键字,而苹果很早就开始支持中文分词,现在几乎每天都在使用它,要了解的朋友,就随爱站技术频道小编来看看IOS开发超强中文分词的实现方法吧!
效果如下:
实现
其实苹果给出了完整的API,想要全面了解的可以直接看文档:CFStringTokenizer Reference
这里说说简单的一个实现:
// 要分词的字符串 NSString *string = @"侠士隐锋,莽夫露刃"; self.keywords = [[NSMutableArray alloc] init]; CFStringTokenizerRef ref = CFStringTokenizerCreate(NULL, (__bridge CFStringRef)string, CFRangeMake(0, string.length), kCFStringTokenizerUnitWord, NULL);// 创建分词器 CFRange range;// 当前分词的位置 // 获取第一个分词的范围 CFStringTokenizerAdvanceToNextToken(ref); range = CFStringTokenizerGetCurrentTokenRange(ref); // 循环遍历获取所有分词并记录到数组中 NSString *keyWord; while (range.length>0) { keyWord = [string substringWithRange:NSMakeRange(range.location, range.length)]; [self.keywords addObject:keyWord]; CFStringTokenizerAdvanceToNextToken(ref); range = CFStringTokenizerGetCurrentTokenRange(ref); }
其实逻辑很简单:创建分词器–>一个个地一次获取分词后的每个词的起始位置和长度,从而取出词。
示例里我用列表显示每个分词,比较清楚,列表的实现就不说明了,可以直接看工程代码。
值得一提的是,其分词速度很快,甚至一些网络词汇比如“木有”,一些成语等等都能够识别出,能看出这是分词的什么吗:
以上就是爱站技术频道小编介绍的IOS开发超强中文分词的实现方法,对于开发项目成功后,收益将会翻番,但是如若失败就需要从头开始。