Scrapy трубопровода к Разбираем

Question

Я сделал трубопровод, чтобы поместить данные Scrapy в мой Разбор Backend

PARSE = 'api.parse.com' PORT = 443

Однако, я не могу найти правильный способ публикации данных в Parse. Потому что каждый раз он создает неопределенные объекты в моей базе данных.

class Newscrawlbotv01Pipeline(object): 
    def process_item(self, item, spider): 
     for data in item: 
      if not data: 
       raise DropItem("Missing data!") 
     connection = httplib.HTTPSConnection(
      settings['PARSE'], 
      settings['PORT'] 
     ) 
     connection.connect() 
     connection.request('POST', '/1/classes/articlulos', json.dumps({item}), { 
     "X-Parse-Application-Id": "XXXXXXXXXXXXXXXX", 
     "X-Parse-REST-API-Key": "XXXXXXXXXXXXXXXXXXX", 
     "Content-Type": "application/json" 
    }) 
     log.msg("Question added to PARSE !", level=log.DEBUG, spider=spider) 
     return item 

Пример ошибки:

TypeError: set([{'image': 'http://apps.site.lefigaro.fr/sites/apps/files/styles/large/public/thumbnails/image/sport24.png?itok=caKsKUzV', 
'language': 'FR', 
'publishedDate': datetime.datetime(2016, 3, 16, 21, 53, 10, 289000), 
'publisher': 'Le Figaro Sport', 
'theme': 'Sport', 
'title': u'Pogba aurait rencontr\xe9 les dirigeants du PSG', 
'url': u'sport24.lefigaro.fr/football/ligue-des-champions/fil-info/prolongation-entre-le-bayern-et-la-juve-796778'}]) is not JSON serializable 

Answer 1

Я нашел решение

class Newscrawlbotv01Pipeline(object): 
def process_item(self, item, spider): 
    for data in item: 
     if not data: 
      raise DropItem("Missing data!") 
    connection = httplib.HTTPSConnection(
     settings['PARSE'], 
     settings['PORT'] 
    ) 

    connection.connect() 
    connection.request('POST', '/1/classes/Articles', json.dumps(dict(item)), { 
    "X-Parse-Application-Id": "WW", 
    "X-Parse-REST-API-Key": "WW", 
    "Content-Type": "application/json" 
}) 
    log.msg("Question added to PARSE !", level=log.DEBUG, spider=spider) 
    return item 
    #self.collection.update({'url': item['url']}, dict(item), upsert=True) 

Answer 2

Похоже, у вас есть set внутри item['data'], который не принимается на JSON.

Вам необходимо изменить это поле обратно в список, прежде чем пытаться сделать его приемлемым для JSON.