Использование Twisted + Cyclone + PyPy для обработки запросов POST вызывает утечку памяти?

Question

После многих исследований выяснилось, что после обслуживания сотен тысяч HTTP-запросов POST происходит утечка памяти. Странная часть заключается в том, что утечка памяти возникает только при использовании PyPy.

Вот пример код:

from twisted.internet import reactor 
import tornado.ioloop 

do_tornado = False 
port = 8888 

if do_tornado: 
    from tornado.web import RequestHandler, Application 
else: 
    from cyclone.web import RequestHandler, Application 

class MainHandler(RequestHandler): 
    def get(self): 
     self.write("Hello, world") 

    def post(self): 
     self.write("Hello, world") 

if __name__ == "__main__": 
    routes = [(r"/", MainHandler)] 
    application = Application(routes) 

    print port 
    if do_tornado: 
     application.listen(port) 
     tornado.ioloop.IOLoop.instance().start() 
    else: 
     reactor.listenTCP(port, application) 
     reactor.run() 

Вот тестовый код, я использую для создания запросов:

from twisted.internet import reactor, defer 
from twisted.internet.task import LoopingCall 

from twisted.web.client import Agent, HTTPConnectionPool 
from twisted.web.iweb import IBodyProducer 

from zope.interface import implements 

pool = HTTPConnectionPool(reactor, persistent=True) 
pool.retryAutomatically = False 
pool.maxPersistentPerHost = 10 
agent = Agent(reactor, pool=pool) 

bid_url = 'http://localhost:8888' 

class StringProducer(object): 
    implements(IBodyProducer) 

    def __init__(self, body): 
     self.body = body 
     self.length = len(body) 

    def startProducing(self, consumer): 
     consumer.write(self.body) 
     return defer.succeed(None) 

    def pauseProducing(self): 
     pass 

    def stopProducing(self): 
     pass 


def callback(a): 
    pass 

def error_callback(error): 
    pass 

def loop(): 
    d = agent.request('POST', bid_url, None, StringProducer("Hello, world")) 
    #d = agent.request('GET', bid_url) 
    d.addCallback(callback).addErrback(error_callback) 


def main(): 
    exchange = LoopingCall(loop) 
    exchange.start(0.02) 

    #log.startLogging(sys.stdout) 
    reactor.run() 

main() 

Обратите внимание, что этот код не попадал с CPython, ни с Tornado и PyPy! Код протекает только при использовании Twisted и Pypy вместе, и ТОЛЬКО при использовании запроса POST.

Чтобы увидеть утечку, вы должны отправить сотни тысяч запросов.

Обратите внимание, что при установке PYPY_GC_MAX процесс в конечном итоге сбой.

Что происходит?

Answer 1

Оказывается, причиной утечки является модуль BytesIO.

Вот как имитировать утечку на Pypy.

from io import BytesIO 
while True: a = BytesIO() 

Вот исправление: https://bitbucket.org/pypy/pypy/commits/40fa4f3a0740e3aac77862fe8a853259c07cb00b