Hadoop解析序列文件并可视化输出

<

div id=”content” contentScore=”2951″>Hadoop版本：1.0.4，jdk：1.7.0_25 64bit。

在进行mahout算法分析的时候有时会遇到算法最后的输出文件是序列文件的情况下，这样就不能直接通过HDFS文件系统看到最终的结果了（乱码，因为是序列文件）。以前编写过一个可以直接把序列文件<key,value>读入到一个map变量中的java文件，叫做ReadArbiKV ，可以在下面的地址下载。

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2013年资料/10月/25日/Hadoop解析序列文件并可视化输出

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

ReadArbiKV是读取任务序列文件到一个map变量里面，可以启动调试模式进行变量查看； ReadAndWritePatterns是读取序列文件，并解析其key和value，然后可视化输出，所谓可视化输出是指不是乱码的输出。

但是上面的有个问题，就是当数据很大的时候，如果读不到一个map变量里面怎么办？

所以就可以使用下面的思路：一边读一边写。怎么个意思？直接读取序列文件的<key,value>，然后对key和value分别进行解析，最后直接进行输出。即每读取一行记录，解析一行，然后再输出一行。这样就不会有上面的问题了。

主程序是ReadAndWritePatterns，其中需要实现IKVRegex接口，这个接口是解析key和value的标准。给出的代码中的AKVRegex、ImplAKVRegex是这个接口的两个实现，可以参考，其中AKVRegex是什么都不做的，只是把原始的类.toString()而已，ImplAKVRegex是有一些操作的，原来是针对fpg算法的最后输出的解析的，但是好像有点不是很对。

下面给出一个调用demo：

package mahout.fansy.fpg;

import java.io.IOException;

import junit.framework.TestCase;

import mahout.fansy.utils.fpg.AKVRegex;
import mahout.fansy.utils.fpg.ImplAKVRegex;
import mahout.fansy.utils.fpg.ReadAndWritePatterns ;

public class TestReadAndWritePatterns extends TestCase {

 public void testReadAndWrite() throws IOException{
  String input=”hdfs://Ubuntu:9000/user/mahout/fp/output/frequentpatterns/part-r-00000″;
  String output=”hdfs://ubuntu:9000/user/mahout/fp/output_/01.txt”;
  String jobtracker=”ubuntu:9001″;
 // AKVRegex regex=;
  ReadAndWritePatterns.readAndWritePatterns(input, output, jobtracker, new AKVRegex()); 
 }
}

推荐阅读：

基于Hadoop集群的Hive安装 http://www.linuxidc.com/Linux/2013-07/87952.htm

Hadoop环境配置过程中可能遇到问题的解决方案 http://www.linuxidc.com/Linux/2013-07/87905.htm

基于Ubuntu 12.04+Hadoop1.2.0 的Hadoop集群搭建 http://www.linuxidc.com/Linux/2013-07/87583.htm

Hadoop Eclipse 插件编译安装1.2.0 http://www.linuxidc.com/Linux/2013-07/87428.htm

Hadoop在Eclipse中的插件编译 http://www.linuxidc.com/Linux/2013-04/83295.htm

更多Hadoop相关信息见Hadoop</sp