- 浏览: 1246733 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (608)
- 数据结构 (2)
- AJAX (3)
- 设计模式 (3)
- java (117)
- js (14)
- css (9)
- jsp (10)
- 杂文 (49)
- htmlparser (6)
- 数据库 (29)
- 算法 (14)
- 数据挖掘 (11)
- 电脑杂症 (12)
- 网络爬虫 (7)
- 应用服务器 (9)
- PHP (2)
- C# (14)
- 测试 (3)
- WEB高性能开发 (3)
- swt (1)
- 搜索引擎 (16)
- HttpClient (4)
- Lite (1)
- EXT (1)
- python (1)
- lucene (4)
- sphinx (9)
- Xapian (0)
- linux (44)
- 问题归类 (1)
- Android (6)
- ubuntu (7)
- SEO (18)
- 数学 (0)
- 农业资讯 (12)
- 游戏 (3)
- nginx (1)
- TeamViewer (1)
- swing (1)
- Web前 端 (1)
- 主页 (0)
- 阿萨德发首发身份 (0)
- 软件设计师 (0)
- hibernate (5)
- spring3.0 (5)
- elastic (1)
- SSH (3)
- ff (0)
- oracle 10g (9)
- 神经网络 (1)
- struts2.0 (2)
- maven (1)
- nexus (1)
- 辅助工具 (3)
- Shiro (1)
- 联通项目 (0)
- 2014年专业选择 (0)
- freemarker (1)
- struts1.2 (8)
- adfasdfasfasf (0)
- TortoiseSVN (1)
- jstl (1)
- jquery (1)
- eclipse plugin (0)
- 游戏外挂 (1)
- 推广 (0)
- 按键精灵 (1)
- ibatis3.0 (1)
最新评论
-
水野哲也:
不不不, 这个您真错了!其实是你引用的那个jsp和本身的jsp ...
解析关于jsp页面指令冲突问题contentType="text/html;charset=UTF-8" -
caobo_cb:
import xx.cn.weibo.Util;
[ java版]新浪微博之ruquest_token篇 -
caobo_cb:
你好 Util包没有
[ java版]新浪微博之ruquest_token篇 -
小桔子:
你好!我遇到个问题 max_allowed_packet值总是 ...
mysql查询占用内存,优化的技巧 -
donghustone:
谢谢大神!
用JSmooth制作java jar文件的可执行exe文件教程(图文)
- package org.apache.lucene.analysis.tjuchinese;
- import java.io.IOException;
- import java.io.Reader;
- import java.io.StringReader;
- import java.util.Set;
- import org.apache.lucene.analysis.Analyzer;
- import org.apache.lucene.analysis.StopFilter;
- import org.apache.lucene.analysis.TokenStream;
- import com.xjt.nlp.word.ICTCLAS;
- public final class TjuChineseAnalyzer extends Analyzer {
- private Set stopWords;
- // 可以在此扩展English stop words和Chinese stop words
- public static final String[] ENGLISH_STOP_WORDS = { "a" , "an" , "and" ,
- "are" , "as" , "at" , "be" , "but" , "by" , "for" , "if" , "in" , "into" ,
- "is" , "it" , "no" , "not" , "of" , "on" , "or" , "s" , "such" , "t" ,
- "that" , "the" , "their" , "then" , "there" , "these" , "they" , "this" ,
- "to" , "was" , "will" , "with" , "我" , "我们" };
- /** Builds an analyzer which removes words in ENGLISH_STOP_WORDS. */
- public TjuChineseAnalyzer() {
- stopWords = StopFilter.makeStopSet(ENGLISH_STOP_WORDS);
- }
- /** Builds an analyzer which removes words in the provided array. */
- public TjuChineseAnalyzer(String[] stopWords) {
- this .stopWords = StopFilter.makeStopSet(stopWords);
- }
- /** Filters LowerCaseTokenizer with StopFilter. */
- public TokenStream tokenStream(String fieldName, Reader reader) {
- try {
- ICTCLAS splitWord = new ICTCLAS();
- String inputString = FileIO.readerToString(reader);
- String resultString = splitWord.paragraphProcess(inputString);
- TokenStream result = new TjuChineseTokenizer( new StringReader(
- resultString));
- result = new StopFilter(result, stopWords);
- return result;
- /*
- * return new StopFilter(new LowerCaseTokenizer(new StringReader(
- * resultString)), stopWords);
- */
- } catch (IOException e) {
- System.out.println( "转换出错" );
- return null ;
- }
- }
- }
TjuChineseTokenizer.java;
- package org.apache.lucene.analysis.tjuchinese;
- import java.io.Reader;
- import org.apache.lucene.analysis.LowerCaseTokenizer;
- public class TjuChineseTokenizer extends LowerCaseTokenizer{
- public TjuChineseTokenizer(Reader Input)
- {
- super (Input);
- }
- }
FileIO.java;
- package org.apache.lucene.analysis.tjuchinese;
- import java.io.BufferedReader;
- import java.io.IOException;
- import java.io.Reader;
- public class FileIO {
- public static String readerToString(Reader reader) throws IOException {
- BufferedReader br = new BufferedReader(reader);
- String ttt = null ;
- // 使用 StringBuffer 类,可以提高字符串操作的效率
- StringBuffer tttt = new StringBuffer( "" );
- while ((ttt = br.readLine()) != null ) {
- tttt.append(ttt);
- }
- return tttt.toString();
- }
- }
eclipse里面的部署为:
搞定!!
下面测试一下,测试代码如下:
- package org.apache.lucene.analysis.tjuchinese;
- import java.io.IOException;
- import java.io.StringReader;
- import org.apache.lucene.analysis.Analyzer;
- import org.apache.lucene.analysis.Token;
- import org.apache.lucene.analysis.TokenStream;
- public class testTjuChjnese {
- public static void main(String[] args) {
- String string = "hello!我爱中国人民" ;
- Analyzer analyzer = new TjuChineseAnalyzer();
- TokenStream ts = analyzer
- .tokenStream( "dummy" , new StringReader(string));
- Token token;
- System.out.println( "Tokens:" );
- try {
- int n = 0 ;
- while ((token = ts.next()) != null ) {
- System.out.println((n++) + "->" + token.toString());
- }
- } catch (IOException ioe) {
- ioe.printStackTrace();
- }
- }
- }
运行结果:
Tokens:
0->(hello,0,5)
1->(nx,6,8)
2->(w,12,13)
3->(r,17,18)
4->(爱,20,21)
5->(v,22,23)
6->(中国,25,27)
7->(ns,28,30)
8->(人民,32,34)
9->(n,35,36)
【难点】
- public CharArraySet( int startSize, boolean ignoreCase) {
- this .ignoreCase = ignoreCase;
- int size = INIT_SIZE;
- while (startSize + (startSize>> 2 ) > size)
- size <<= 1 ;
- entries = new char [size][];
- }
startSize + (startSize>>2,不解?
附录:
因为本分词器要用到ICTCLAS java接口。所以要先下载下载地址http://download.csdn.net/source/778456 ;
将文件全部复制到工程文件中(也可以通过导入)后,得到的eclipse视图如下:
导入视图如下(仅供参考):
如果出现这样的错误:
java.lang.UnsatisfiedLinkError: no ICTCLAS in java.library.path
at java.lang.ClassLoader.loadLibrary(Unknown Source)
at java.lang.Runtime.loadLibrary0(Unknown Source)
at java.lang.System.loadLibrary(Unknown Source)
at com.xjt.nlp.word.ICTCLAS.<clinit>(ICTCLAS.java:37)
Exception in thread "main"
那么应该就是你缺少了某些文件,尤其是ICTCLAS.dll,另外像“classes”、“data”、“lib”源文件夹也是必需的。
转载:http://blog.csdn.net/caoxu1987728/archive/2008/11/15/3305848.aspx
发表评论
-
tomcat was unable to start within 45 seconds
2013-11-11 15:59 808原因一: -
Apache Commons Lang
2013-10-15 12:10 3132ArrayUtils public class Tes ... -
htmlunit form
2013-06-25 11:13 892Form提交 对于WEB应用,有着大量的表单,所以Html ... -
QQ微博登录步骤
2013-05-28 12:14 0QQ微博登录步骤: 1、验证帐号时,会访问一个地址。如下: ... -
jsoup
2013-05-22 23:37 1106import org.jsoup.Jsoup; import ... -
java 加密解密
2013-05-21 23:00 802import java.security.InvalidKey ... -
freemarket 对象应用篇(一)
2013-05-19 18:18 979freemarket应用. 1.1:创建web工程testF ... -
中文数字转阿拉伯数字
2012-11-30 14:24 1760/** * @author loiy * ... -
标记:伪原创标题思路
2012-01-11 16:34 1257采用填词的办法进行伪 ... -
用JSmooth制作java jar文件的可执行exe文件教程(图文)
2012-01-05 01:09 8103下载完程序之后,运行 jsmoothgen.exe 1.进入“ ... -
多线程 Java.util.ConcurrentModificationException异常
2011-12-29 13:43 1484Iterator<Entry<String,B ... -
java 反序列化 抛出EOFException
2011-12-19 17:21 2214抛出这样的异常,一般情况下,是因为业务逻辑的问题。 如: 在没 ... -
一键安装双击运行——Java安装程序制作
2011-12-09 02:39 1304对于Java桌面应用来说,比较烦琐的就是安装部署问题,如:客户 ... -
只针对中英文混合分词的中文分词器
2011-12-02 17:28 4823该版本说明 1、只针对中英文混合分词 需要一些中文和英文连在 ... -
Java开源运行分析工具
2011-11-15 15:10 1846FProfiler FProfiler是一个非常快的Java ... -
cwss 按照指定的字符进行切词
2011-11-15 09:37 1147cwss 按照指定的字符进行切词 在 Utility.SEPE ... -
cwss bug 修复
2011-11-07 09:50 839修复的BUG有如下: 1、当只有中文、字母和数字,没有任何其他 ... -
java 怎么读取细胞词库scel
2011-10-24 14:28 3066private void sogou(String pa ... -
今天遇到一个奇怪的问题
2011-04-28 11:55 1146想实现一个用户访问页面,得到用户的外网地址 在公司上。程序是没 ... -
在myeclipse6.5下统一全部JSP编码更改
2011-04-07 14:47 1427在平时我们新建一个JSP页面默认编码是"ISO885 ...
相关推荐
图片到图片装载器、绘制火焰效果的X坐标,Y坐标、得到X坐标,Y坐标值、绘制火焰效果Image…… Java加密解密工具集 JCT v1.0源码包 5个目标文件 内容索引:JAVA源码,综合应用,JCT,加密解密 WDSsoft的一款免费源代码 JCT ...
Java绘制图片火焰效果,源代码相关注释:前景和背景Image对象、Applet和绘制火焰的效果的Image对象、Applet和绘制火焰的效果的Graphics对象、火焰效果的线程、Applet的高度,图片到图片装载器、绘制火焰效果的X坐标...
9 3.2.4如何提高程序性能 11 3.2.5网络机器人的代码分析 12 3.3小节 14 第四章 基于lucene的索引与搜索 15 4.1什么是Lucene全文检索 15 4.2 Lucene的原理分析 15 4.2.1全文检索的实现机制 15...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...
JOpenID是一个轻量级的OpenID 2.0 Java客户端,仅50KB+(含源代码),允许任何Web网站通过OpenID支持用户直接登录而无需注册,例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor ...