全文检索技术Lucene

    1、倒排索引
    2、压缩算法
    3、二元搜索
    
    
      
      
      
    
    代码解读

    它是根据属性的值来查找记录。
    这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址由于不是由记录来确定属性值，
    而是由属性值来确定记录的位置，因而称为倒排索引(invertedindex) 如下简单的例子
    
    
      
      
      
    
    代码解读

    下载 lucene jar
    官网：https://lucene.apache.org/
    导入 jar 到项目中
    我下载的为7-5-0版本的zip,架包引入下面依赖中的jar就行,但是org.apache.commons.io 
    必须从依赖库里面引入,本人建议你可以建个maven项目,然后只引入org.apache.commons.io 
    依赖,其他的几个直接把你下载的zip解压,找到里面的对应架包引入就行,因为maven库里面的版本较低
    
    
      
      
      
      
      
      
    
    代码解读

    <dependencies>
      <!--测试环境-->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>compile</scope>
        </dependency>
        
        <!-- https://mvnrepository.com/artifact/org.apache.directory.studio/org.apache.commons.io -->
        <dependency>
            <groupId>org.apache.directory.studio</groupId>
            <artifactId>org.apache.commons.io</artifactId>
            <version>2.4</version>
        </dependency>
       
       <!-- http://mvnrepository.com/artifact/org.apache.lucene/lucene-analyzers-common -->
       <dependency>
           <groupId>org.apache.lucene</groupId>
           <artifactId>lucene-analyzers-common</artifactId>
           <version>4.10.3</version>
       </dependency>
       
       <!-- http://mvnrepository.com/artifact/org.apache.lucene/lucene-queryparser -->
       <dependency>
           <groupId>org.apache.lucene</groupId>
           <artifactId>lucene-queryparser</artifactId>
           <version>4.10.3</version>
       </dependency>
      
       <!-- http://mvnrepository.com/artifact/org.apache.lucene/lucene-core -->
       <dependency>
           <groupId>org.apache.lucene</groupId>
           <artifactId>lucene-core</artifactId>
           <version>4.10.3</version>
       </dependency>
    </dependencies>
    
    
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
    
    代码解读

    //要搜索的目录路径
    String pathSearch = "C://Users//威威//Desktop//课堂内容//第15周//day 5";
    //索引要存放的路径
    String pathIndex = "C://Users//威威//Desktop//课堂内容//第16周//day 5//testLucene";
    
    
      
      
      
      
    
    代码解读

    @Test
    public void createIndex() throws IOException {
    
        //索引存放的目录文件夹
        File indexRepositoryFile = new File(pathIndex);
        //得到目录的文件路径(不能直接用上面的path,不然会报错)
        Path directoryPath = indexRepositoryFile.toPath();
        //lucene进行搜索的目录
        Directory directory = FSDirectory.open(directoryPath);
    
        //准备你想要搜索的目录文件
        File searchFiles = new File(pathSearch);
        //获取一个标准分词器
        Analyzer analyzer = new StandardAnalyzer();
        //配置indexWriterConfig
        //IndexWriterConfig indexWConfig = new IndexWriterConfig();
        IndexWriterConfig indexWConfig = new IndexWriterConfig(analyzer);
        //指定索引写入的模式
        indexWConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
        //通过索引目录与配置信息得到writer
        IndexWriter writer = new IndexWriter(directory, indexWConfig);
        //遍历读取文件目录pathSearch里的所有文件,非常重要,如果直接遍历杜会报错(文件存在,但它是个目录)
        Collection<File> files = FileUtils.listFiles(searchFiles, TrueFileFilter.INSTANCE,TrueFileFilter.INSTANCE);
    
        //遍历读取目录里的所有文件
        for(File file : files){
            //得到文件名
            String fileName = file.getName();
            //文件内容
            String fileContent = FileUtils.readFileToString(file);
            //文件路径
            String filePath = file.getPath();
            //文件大小
            Long fileSize = FileUtils.sizeOf(file);
    
            //创建一个document对象
            Document document = new Document();
            // 向Document对象中添加域信息
            // 参数：1、域的名称；2、域的值；3、是否存储；
            Field nameField = new TextField("name",fileName,Store.YES );
            Field contentField = new TextField("content", fileContent, Store.YES);
            // storedFiled默认存储
            Field pathField = new StoredField("path",filePath );
            Field sizeField = new StoredField("size",fileSize );
    
            // 将域添加到document对象中
            document.add(nameField);
            document.add(contentField);
            document.add(pathField);
            document.add(sizeField);
            //将信息写入到检索库中
            writer.addDocument(document);
    
        }
    
        //关闭indexWriter
        writer.close();
    
    }
    
    
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
    
    代码解读

    @Test
    public void search() throws IOException, ParseException {
        //指定索引的目录并打开,路径不能直接给,必须转化一下
        File file = new File(pathIndex);
        Path path = file.toPath();
        Directory directory = FSDirectory.open(path);
    
        //得到一个基础分词器,查询也需要分词操作,假如用户输入的内容很长
        Analyzer analyzer = new StandardAnalyzer();
    
        IndexReader indexReader = DirectoryReader.open(directory);
        //创建IndexSearch对象
        IndexSearcher indexSearcher = new IndexSearcher(indexReader);
        //创建一个分析器
        QueryParser parser = new QueryParser("content",analyzer);
    
        //要查询的东西
        Query query = parser.parse("用");
        /*// 创建一个查询对象
        TermQuery termQuery = new TermQuery(new Term("name", "crm"));*/
        // 执行查询
        // 返回的最大值，在分页的时候使用
        TopDocs topDocs = indexSearcher.search(query, 10);
        // 取查询结果总数量
        System.out.println("总共的查询结果：" + topDocs.totalHits);
        // 查询结果，就是documentID列表
        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
    
        for (ScoreDoc scoreDoc : scoreDocs) {
            // 取对象document的对象id
            int docID = scoreDoc.doc;
    
            // 相关度得分
            float score = scoreDoc.score;
    
            // 根据ID去document对象
            Document document = indexSearcher.doc(docID);
    
            /*System.out.println("相关度得分：" + score);
            System.out.println("");
            System.out.println("文件的名字: "+document.get("name"));
            System.out.println("");*/
            // 另外的一种使用方法
            System.out.println(document.getField("content").stringValue());
            System.out.println(document.get("path"));
            System.out.println();
            System.out.println("=======================");
        }
    
        indexReader.close();
    
    }
    
    
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
    
    代码解读

    <?xml version="1.0" encoding="UTF-8"?>
    <properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户在这可以配置自己的扩展字典-->
    <entry key="ext_dict">ext_dict;</entry>
    
    <!--用户可以在这里配置自己的停止词字典-->
    <entry key="ext_stopwords">stopword.dic;chinese_stopword.dic</entry>
    </properties>
    
    
      
      
      
      
      
      
      
      
      
    
    代码解读