• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    详解PHP多个进程配合redis的有序集合实现大文件去重

    1.对一个大文件比如我的文件为

    -rw-r--r-- 1 ubuntu ubuntu 9.1G Mar 1 17:53 2018-12-awk-uniq.txt

    2.使用split命令切割成10个小文件

    split -b 1000m 2018-12-awk-uniq.txt -b 按照字节切割 , 支持单位m和k

    3.使用10个php进程读取文件 , 插入redis的有序集合结构中 , 重复的是插不进去的 ,因此可以起到去重的作用

    ?php
     
    $file=$argv[1];
    //守护进程
    umask(0); //把文件掩码清0
    if (pcntl_fork() != 0){ //是父进程,父进程退出
        exit();
    }  
    posix_setsid();//设置新会话组长,脱离终端
    if (pcntl_fork() != 0){ //是第一子进程,结束第一子进程 
        exit();
    }  
     
     
    $start=memory_get_usage();
     
    $redis=new Redis();
    $redis->connect('127.0.0.1', 6379);
     
    $handle = fopen("./{$file}", 'rb');
    while (feof($handle)===false) {
        $line=fgets($handle);
        $email=str_replace("\n","",$line);
        $redis->zAdd('emails', 1, $email);
    }

    4. redis中查看获取的数据

    zcard emails 获取元素个数

    取一定范围的元素 , 比如从100000开始 到 100100结束

    zrange emails 100000 100100 WITHSCORES

    以上所述是小编给大家介绍的PHP多个进程配合redis的有序集合实现大文件去重详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

    您可能感兴趣的文章:
    • PHP大文件分割分片上传实现代码
    • PHP大文件及断点续传下载实现代码
    • php实现断点续传大文件示例代码
    • PHP下载大文件失败并限制下载速度的实例代码
    • PHP超低内存遍历目录文件和读取超大文件的方法
    • PHP如何通过表单直接提交大文件详解
    • PHP大文件分片上传的实现方法
    • php下载远程大文件(获取远程文件大小)的实例
    • 详解PHP如何读取大文件
    上一篇:一次因composer错误使用引发的问题与解决
    下一篇:php ajax confirm 删除实例详解
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    详解PHP多个进程配合redis的有序集合实现大文件去重 详解,PHP,多个,进程,配合,