最新消息:yaf表单扩展中新增加了浮点数、日期和集合的校验。php yaf框架扩展实践三——表单

golang限制协程的最大开启数

Golang 2011浏览 3评论

虽然golang中协程开销很低,但是在一些情况下还是有必要限制一下协程的开启数,比如爬虫中的下载协程,因为受到带宽限制,开的多了也没有效果。本来想在网上找找有没协程池,类似其它语言线程池这样的东西,可以限制最大开启数。找了一番,这方面的资料非常少,难道golang不需要协程池这种东东?自己动手写一个吧。

要限制协程最大数量,就是考虑开启一个协程的时候记录一下,然后超过最大数就不再开启。可以考虑用一个变量count来记录协程开启数量,不过这种方式比较out了,golang中可以用channel来实现。

不限制的代码:


package main

import (
	"fmt"
	"strconv"
	"time"
)

// 模拟下载页面的方法
func download(url string) {
	fmt.Println("download from ", url)
}

func main() {
	urls := [100]string{}
	for i := 0; i < 100; i++ {
		urls[i] = "url" + strconv.Itoa(i)
	}
	for i := 0; i < len(urls); i++ {
		go download(urls[i])
	}

	// 休眠一下
	for {
		time.Sleep(1 * 1e9)
	}
}

根据url数量开启若干协程,每个协程会去下载页面内容,通常受到带宽的限制,协程开多了没有什么提升效果。

限制一下


package main

import (
	"fmt"
	"strconv"
	"time"
)

var (
	maxRoutineNum = 10
)

// 模拟下载页面的方法
func download(url string, ch chan int) {
	fmt.Println("download from ", url)
	// 休眠两秒模拟下载页面
	time.Sleep(2 * 1e9)
	// 下载完成则从ch推出数据
	<-ch
}

func main() {
	ch := make(chan int, maxRoutineNum)

	urls := [100]string{}
	for i := 0; i < 100; i++ {
		urls[i] = "url" + strconv.Itoa(i)
	}
	for i := 0; i < len(urls); i++ {
		// 开启下载协程前往ch塞一个数据
		// 如果ch满了则会处于阻塞,从而达到限制最大协程的功能
		ch <- 1
		go download(urls[i], ch)
	}

	// 休眠一下
	for {
		time.Sleep(1 * 1e9)
	}
}

主要就是用golang中channel的阻塞性和最大数量处理,可以考虑封装一下提供使用。

golang真的不需要协程池?

转载请注明:快乐编程 » golang限制协程的最大开启数

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

网友最新评论 (3)

  1. 不要最后的for 看看 你最后一个for 就是一直等待 协程完成
    good1年前 (2016-08-12)回复
    • 陈杰斌
      最后的for主要是为了能够看到前面协程的执行结果。不然主进程就直接退出了,啥也看不到。
      陈杰斌1年前 (2016-08-13)回复
  2. runtime.GOMAXPROCS(1)
    dsdaw2个月前 (09-13)回复