Python ES клиент удаления Doces при вставке больших объемов данных с насыпным помощником

Question

jsondata = f.read() 
    dataList = json.loads(jsondata) 
    projectName = dataList['query']['project'] 
    reportStartTime = dataList['query']['startTime'] 
    reportEndTime = dataList['query']['endTime'] 
    allEventList = dataList['sessionEvents'] 

    '''We need a Type for each data so it will be 
    like startTime:endTime''' 
    flag = False 
    count = 0 
    esbulkData = [] 
    for event in allEventList: 
     ls = event["l"] 
     del event["l"] 
     for l in ls: 
    llist = [] 
    eventList = [] 
    llist.append(l) 
    event["l"] = llist 
    eventList.append(event) 
    flurryData = { "project": projectName, "startTime": reportStartTime, "endTime": reportEndTime, "sessionEvents": eventList } 
    #{ 
    #  "_index": "tickets-index", 
    #  "_type": "tickets", 
    #  "_id": j, 
    #  "_source": { 
    #   "any":"data" + str(j), 
    #   "timestamp": datetime.now()} 
    # } 
    esData = {"_index": "fl_ios_prod_feb_bulk", "_type": "flurryRawSchema", "_id": count, "_source": flurryData} 
    esbulkData.append(esData) 
    es = Elasticsearch([ES_URL]) 
    res = helpers.bulk(es, esbulkData) 
    if (res): 
     print("Passed") 

    else: 
     print("Failed") 

В коде выше, все работает просто отлично, но doc_count не идет более чем 500 при проверке на «Sense». Кажется, он удалил некоторые документы.

Пожалуйста, помогите. У меня такие ночи

Answer 1

Итак, я забыл увеличить количество и то, что было проблемой.