В настоящее время я работаю над разбором приложений, которое сначала получает файлы .csv
с удаленного сервера, а затем синхронизирует его с локальным сервером. После синхронизации загруженные файлы с локального пути будут проанализированы, а затем вставлены в базу данных SQL. Что делать, если новые файлы добавляются с удаленного сервера (которые затем синхронизируются с локальным сервером), как приложение сможет разбирать только эти новые файлы (предотвращая повторное разбор и повторное вложение старых .csv-файлов, которые были уже разобрался)?Признать новые синхронизированные файлы (WinSCP)
Мой код до сих пор:
public static int Main()
{
try
{
// Setup session options
SessionOptions sessionOptions = new SessionOptions
{
Protocol = Protocol.Scp,
HostName = hostName,
UserName = userName,
Password = passWord,
SshHostKeyFingerprint = sshHostKey
};
using (Session session = new Session())
{
// Will continuously report progress of synchronization
session.FileTransferred += FileTransferred;
// Connect
session.Open(sessionOptions);
// Synchronize files
SynchronizationResult synchronizationResult;
synchronizationResult =
session.SynchronizeDirectories(
SynchronizationMode.Local, localPath, remotePath, false);
// Throw on any error
synchronizationResult.Check();
Run();
}
return 0;
}
catch (Exception e)
{
Console.WriteLine("Error: {0}", e);
Console.ReadLine();
return 1;
}
}
Это обрабатывает событие при синхронизации файлов:
private static void FileTransferred(object sender, TransferEventArgs e)
{
if (e.Error == null)
{
Console.WriteLine("Upload of {0} from remote to local server succeeded", e.FileName);
}
else
{
Console.WriteLine("Upload of {0} from remote to local server failed: {1}", e.FileName, e.Error);
}
if (e.Chmod != null)
{
if (e.Chmod.Error == null)
{
Console.WriteLine("Permisions of {0} set to {1}", e.Chmod.FileName, e.Chmod.FilePermissions);
}
else
{
Console.WriteLine("Setting permissions of {0} failed: {1}", e.Chmod.FileName, e.Chmod.Error);
}
}
else
{
Console.WriteLine("Permissions of {0} kept with their defaults", e.Destination);
}
if (e.Touch != null)
{
if (e.Touch.Error == null)
{
Console.WriteLine("Timestamp of {0} set to {1}", e.Touch.FileName, e.Touch.LastWriteTime);
}
else
{
Console.WriteLine("Setting timestamp of {0} failed: {1}", e.Touch.FileName, e.Touch.Error);
}
}
else
{
// This should never happen during "local to remote" synchronization
Console.WriteLine("Timestamp of {0} kept with its default (current time)", e.Destination);
}
}
Это разбирает содержимое .csv
файлов. Случается после синхронизации.
public static void Run()
{
dataTable();
List<string> items = new List<string>();
foreach (string file in Directory.EnumerateFiles(localPath, "*.csv"))
{
if (file.Contains("test"))
{ }
else
{
using (FileStream fs = new FileStream(file, FileMode.Open, FileAccess.Read, FileShare.ReadWrite))
{
using (StreamReader sr = new StreamReader(fs))
{
while (!sr.EndOfStream)
items.Add(sr.ReadLine());
foreach (string item in items)
{
var row = dt.NewRow();
string[] columnValues = item.Split(',');
int column = 3;
for (int a = 0; a < columnValues.Length; a++)
{
string date = columnValues[29] + " " + columnValues[28];
row[col[1].ColumnName] = DateTime.Parse(date);
string test = file.Split(new[] { splitVal }, StringSplitOptions.None)[1];
row[col[2].ColumnName] = test.Split('.')[0];
if (a >= 54)
{ }
else
{
if (string.IsNullOrEmpty(columnValues[a]))
{
row[col[column].ColumnName] = DBNull.Value;
}
else
{
try
{
try
{
row[col[column].ColumnName] = columnValues[a].Trim();
}
catch
{
try
{
row[col[column].ColumnName] = Convert.ToDouble(columnValues[a].Trim());
}
catch
{
row[col[column].ColumnName] = int.Parse(columnValues[a].Trim());
}
}
}
catch (Exception ex)
{
Console.WriteLine("Error [" + col[column].ColumnName + "]:" + ex.ToString());
//row[col[column].ColumnName] = DBNull.Value;
}
}
}
column++;
}
dt.Rows.Add(row);
}
using (SqlConnection con = new SqlConnection(consstring))
{
using (SqlBulkCopy sqlBulkCopy = new SqlBulkCopy(con))
{
//Set the database table name
sqlBulkCopy.DestinationTableName = dbTable;
con.Open();
try
{
sqlBulkCopy.WriteToServer(dt);
Console.WriteLine(file.Substring(file.LastIndexOf('\\') + 1) + " uploaded in the database\n");
}
catch (Exception ex)
{
Console.WriteLine(file.Substring(file.LastIndexOf('\\') + 1) + " cannot be uploaded to database. " + ex.ToString());
}
con.Close();
}
}
sr.Dispose();
sr.Close();
}
fs.Dispose();
fs.Close();
}
}
}
}
Приведенный выше код основан от Session.SynchronizeDirectories Method из WinSCP.
Спасибо за это. Я переместил коды из метода Run, используя (FileStream fs = new FileStream (файл, FileMode.Open, FileAccess.Read, FileShare.ReadWrite)) {...} ', к этому. Итак, для каждого загружаемого нового файла TransferEventArgs запускается автоматически правильно? –
Что вы подразумеваете под * «TransferEventArgs ** работает ** автоматически» *? –
Я имел в виду, что синхронизация является временем выполнения, и каждый раз, когда загружаются новые файлы с удаленного сервера, этот цикл foreach автоматически обнаруживает эти новые файлы? –