• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    ruby和pig处理流式文件实例

    大数据操作中涉及到数据清洗步奏还是用脚本处理比较方便,下边介绍一下pig加载hdfs文件后调用ruby脚本处理数据,再返回数据流至pig中处理的一个简单案例。

    注意:ruby的流式处理用到wukong这个gem包,相关下载:
    https://github.com/mrflip/wukong

    pig中加载分布式文件调用ruby流式处理:

    复制代码 代码如下:

    log = load '$INFILE' using PigStorage('\t');

    define tracking_parser `/usr/ruby parse_click.rb --map` SHIP('parse_click.rb', 'click_tracking.rb');

    strmo = stream log through tra_parser;

    store strmo into '$OUTFILE' using PigStorage('\t');

    复制代码 代码如下:

    require 'wukong'
    require 'json'
    require './click_tra.rb'

    module ParseClick
      class Mapper Wukong::Streamer::RecordStreamer
        def before_stream
          @bad_count = 0
        end

        def after_stream
          raise RuntimeError, "Exceeded bad records : #{@bad_count}" if @bad_count > 10
        end

        def process *records
          yield ClickTra.new(JSON.parse(records[2])).to_a
        rescue => e
          @bad_count += 1
          warn "Bad record #{e}: #{records[2]}"
        end
      end
    end

    Wukong.run ParseClick::Mapper, nil

    复制代码 代码如下:

    require 'date'
    require './models.rb'

    class ClickTra
     
      output :ip
      output :c_date
      #output your other atrributes

      def c_date
        click_date.strftime("%Y%m%d").to_i
      end 

      def ip
        browser_ip.to_i
      end

    end

    其中

    strmo = stream log through tra_parser;调用定义的外部程序tra_parser处理log对象。
    Wukong.run ParseClick::Mapper, nil执行完后,将ruby执行结果回调pig接收。
    store strmo into '$OUTFILE' using PigStorage('\t');做结果存储持久化。

    上一篇:Ruby实现邮件主动推送触发程序
    下一篇:Ruby中的类Google Map/Reduce框架Skynet介绍
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    ruby和pig处理流式文件实例 ruby,和,pig,处理,流式,文件,