python多线程处理队列实例

追影

1. import queue
   
2. import threading
   
3. import time
   
4. 
   
5. # 线程思路：
   
6. # 创建任务队列workQueue，和创建多条线程，然后将任务队列传入多线程中，
   
7. # 在线程运行中，使用线程锁循环将任务读出，再执行任务，使用join函数等待所有线程完成任务。
   
8. 
   
9. 
   
10. exitFlag = 0
    
11. 
    
12. 
    
13. class myThread(threading.Thread):
    
14.     def __init__(self, threadID, name, q):
    
15.         threading.Thread.__init__(self)
    
16.         self.threadID = threadID
    
17.         self.name = name
    
18.         self.q = q
    
19. 
    
20.     def run(self):
    
21.         print("开启线程：" + self.name)
    
22.         process_data(self.name, self.q)
    
23.         print("退出线程：" + self.name)
    
24. 
    
25. 
    
26. def process_data(threadName, q):
    
27.     while not exitFlag:
    
28.         queueLock.acquire()
    
29.         if not workQueue.empty():
    
30.             data = q.get()
    
31.             queueLock.release()
    
32.             print("%s processing %s" % (threadName, data))
    
33.         else:
    
34.             queueLock.release()
    
35.         time.sleep(2)
    
36. 
    
37. 
    
38. threadList = ["Thread-1", "Thread-2", "Thread-3"]
    
39. nameList = ["One-queue", "Two-queue", "Three-queue", "Four-queue", "Five-queue"]
    
40. 
    
41. 
    
42. # 线程锁
    
43. queueLock = threading.Lock()
    
44. # 队列
    
45. workQueue = queue.Queue(10)
    
46. 
    
47. threads = []
    
48. threadID = 1
    
49. 
    
50. # 创建新线程
    
51. for tName in threadList:
    
52.     thread = myThread(threadID, tName, workQueue)
    
53.     thread.start()
    
54.     threads.append(thread)
    
55.     threadID += 1
    
56. 
    
57. # 填充队列
    
58. # 获取锁，用于线程同步
    
59. queueLock.acquire()
    
60. for word in nameList:
    
61.     workQueue.put(word)
    
62. 
    
63. # 释放锁，开启下一个线程
    
64. queueLock.release()
    
65. 
    
66. print("等待队列清空")
    
67. # 分配任务到每个线程，等待队列清空
    
68. while not workQueue.empty():
    
69.     pass
    
70. 
    
71. # 所有任务分配完成，通知线程是时候退出，即通知线程已经没有任务了，可以退出了
    
72. exitFlag = 1
    
73. 
    
74. # 等待所有线程完成
    
75. for t in threads:
    
76.     t.join()
    
77. print("退出主线程")

复制代码