Где находится sys.stdout.write() в файле MRJOB?

Question

mrjob.conf

runners: 
    emr: 
    aws_access_key_id: ** 
    aws_secret_access_key: ** 
    aws_region: us-east-1 
    aws_availability_zone: us-east-1a 
    ec2_key_pair: scrapers2 
    ec2_key_pair_file: ~/arachnid.pem 
    ec2_instance_type: c3.8xlarge 
    ec2_master_instance_type: c3.8xlarge 
    num_ec2_instances: 3 
    python_bin: python2.6 
    interpreter: python2.6 
    ami_version: 2.4.11 
    iam_job_flow_role: EMR_DefaultRole 
    jobconf: {"mapred.task.timeout": 600000, "mapred.output.direct.NativeS3FileSystem": false} 
    base_tmp_dir: /tmp 
    enable_emr_debugging: true 
    cmdenv: 
     TZ: America/New_York 
    s3_log_uri: s3://mrjob-lists/tmp/logs/ 
    s3_scratch_uri: s3://mrjob-lists/tmp/ 
    output_dir: s3://mrjob-lists/output 
    ssh_tunnel_is_open: true 
    ssh_tunnel_to_job_tracker: true 

я использую ЭЙ, чтобы выполнить задание, и моя задача картографа имеют:

print "test" 

, а также

sys.stdout.write("TEst") 

Однако, я не могу найти этот выход в файлах stdout на S3. Где записывается вывод?

Answer 1

Преобразователь стандартный вывод для Hadoop 1 задания должны появляться в журналах S3 под /task-attempts/job_#####_##/attempt_#####_##_##/stdout.gz

Это займет некоторое время для них, чтобы подтолкнуть к S3. Если вы покидаете работу кластера, вы можете проверить веб-интерфейс Hadoop JobTracker и убедиться, что он отображается локально в журналах, а также сразу после выполнения задания.