神刀安全网

在Go web服务器中实现prefork和affinity

Apache服务器可是使用prefork技术,启动多个独立的进程,每个进程独立的处理http请求,不需要担心线程安全的问题。

This Multi-Processing Module (MPM) implements a non-threaded, pre-forking web server that handles requests in a manner similar to Apache 1.3. It is appropriate for sites that need to avoid threading for compatibility with non-thread-safe libraries. It is also the best MPM for isolating each request, so that a problem with a single request will not affect any other.

尽管prefork在处理高并发的情况下并不高效,但是作为一个技术,倒是有启发我们的地方。我最近在调研Go服务器的性能看到一段代码,很优雅的实现了prefork和affinity的的功能,特地抄写在本文中,看看他是怎么实现的。

代码出处: WebFrameworkBenchmark go-fasthttp

packagemain  import( "flag" "fmt" "io" "log" "net" "os" "os/exec" "runtime"  "github.com/valyala/fasthttp" "github.com/valyala/fasthttp/reuseport" )  var(  addr = flag.String("addr",":8080","TCP address to listen to")  prefork = flag.Bool("prefork",false,"use prefork")  affinity = flag.Bool("affinity",false,"use affinity for prefork")  child = flag.Bool("child",false,"is child proc") )  funcmain() {  flag.Parse()   ln := getListener()  iferr := fasthttp.Serve(ln, requestHandler); err !=nil{  log.Fatalf("Error in ListenAndServe: %s", err)  } }  funcrequestHandler(ctx *fasthttp.RequestCtx) {  io.WriteString(ctx, "Hello World") }  funcgetListener() net.Listener { if!*prefork {  ln, err := net.Listen("tcp4", *addr) iferr !=nil{  log.Fatal(err)  } returnln  }  if!*child {  children := make([]*exec.Cmd, runtime.NumCPU()) fori :=rangechildren { if!*affinity {  children[i] = exec.Command(os.Args[0],"-prefork","-child")  } else{  children[i] = exec.Command("taskset","-c", fmt.Sprintf("%d", i), os.Args[0],"-prefork","-child")  }  children[i].Stdout = os.Stdout  children[i].Stderr = os.Stderr iferr := children[i].Start(); err !=nil{  log.Fatal(err)  }  } for_, ch :=rangechildren { iferr := ch.Wait(); err !=nil{  log.Print(err)  }  }  os.Exit(0) panic("unreachable")  }   runtime.GOMAXPROCS(1)  ln, err := reuseport.Listen("tcp4", *addr) iferr !=nil{  log.Fatal(err)  } returnln } 

这个程序使用fast-http简单的实现了一个web服务器,简单的返回一个 hello world

如果程序启动的时候加上了 -prefork 参数,它会使用 exec.Command 启动多个子进程,子进程的数量和CPU的核数相同(第51行)。

如果程序启动的时候加上了 -prefork 参数和"-affinity"参数,它会将子进程绑定在其中的一个CPU核上,这样这个子进程只会被这个CPU执行。

子进程限定了使用的原生线程为1: runtime.GOMAXPROCS(1)

因为程序使用了 reuseport ,所以不会导致多个IP地址和端口被占用的情况,多个子进程可以共用相同的IP地址+端口监听。

需要注意的事, reuseport 并不是所有的操作系统都支持,比如目前windows就不支持,所以只可能在高版本的Linux中使用。

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 在Go web服务器中实现prefork和affinity

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址