C＃：残りのリクエストを完了せずにスレッドが異常終了する
サードパーティのエンドポイントにリクエストを送信するスケジューラを実装しました。応答を受信すると、ローカルデータベースが応答で更新されます。現在、5万件以上のリクエスト（10分ごとに1K件のリクエスト）を送信し、応答を処理しています。問題は、サードパーティのサーバーが応答しないか、リクエストがタイムアウトすることです。この場合、例外が発生し、残りのリクエストを処理せずにスレッドが中止されます。必要なのは、スレッドを中止して次のレコードに移動しないことです。これにより、欠落したレコードが別のバッチで処理されます。これが私が使っているコードです。
public class ScheduledAPIJob : IJob
{
public Task Execute(IJobExecutionContext context)
{
Task taskAPI = Task.Factory.StartNew(() => ProcessAPI());
return taskAPI;
}
void ProcessAPI()
{
//Error logging object
SchedulerLogWriter lw = new SchedulerLogWriter("Logs\\Scheduler");
List<WeatherData> list = new List<WeatherData>();
APIQueueBAL objBal = new APIQueueBAL();
//List of endpoints to hit.
var APIQueue = objBal.QueuedAPIs();
foreach (var item in APIQueue)
{
try
{
var endpoint = item.FunctionParameters;
HttpRequestHelper objRequestHelper = new HttpRequestHelper();
//Response from API
var response = objRequestHelper.GetAPIResponse(endpoint);
////Update local database.
if (response.StatusCode == System.Net.HttpStatusCode.OK)
{
list = JsonConvert.DeserializeObject<List<WeatherData>>(response.Content.ReadAsStringAsync().Result);
objBal.ProcessWeatherData(item, list);
}
}
catch (Exception ex)
{
lw.WriteLog(ex.Message);
lw.WriteLog(Convert.ToString(ex.InnerException));
lw.WriteLog(ex.StackTrace);
}
}
}
}
public class HttpRequestHelper
{
public HttpResponseMessage GetAPIResponse(string apiEndpoint)
{
using (var client = new HttpClient())
{
var getTask = client.GetAsync(apiEndpoint);
getTask.Wait();
return getTask.Result;
}
}
}
回答
あたりとして、HttpClientドキュメント：
HttpClient使用ごとではなく、アプリケーションごとに1回インスタンス化することを目的としています。
HttpClientリクエストごとのインスタンスにより、新しいリクエストを送信できないソケットの枯渇が発生する可能性があります。
サードパーティのサーバーが応答しない場合があります
サードパーティのサーバーは問題ないかもしれませんが、ソケットは問題ありません。また、ThreadAbortException特にリクエストを同期的に実行している場合は、新しいリクエストが送信される可能性があります。getTask.Wait()ここでは推奨されておらず、必要もないsync-over-async呼び出しです。
この更新されたコードを使用することを検討してくださいasync/await。
public class ScheduledAPIJob : IJob
{
public Task Execute(IJobExecutionContext context)
{
return ProcessAPI();
}
private async Task ProcessAPI()
{
//Error logging object
SchedulerLogWriter lw = new SchedulerLogWriter("Logs\\Scheduler");
APIQueueBAL objBal = new APIQueueBAL();
//List of endpoints to hit.
var APIQueue = objBal.QueuedAPIs();
foreach (var item in APIQueue)
{
try
{
string endpoint = item.FunctionParameters;
//Response from API
List<WeatherData> list = await HttpRequestHelper.GetAPIResponseAsync<List<WeatherData>>(endpoint);
objBal.ProcessWeatherData(item, list);
}
catch (Exception ex)
{
lw.WriteLog(ex.Message);
lw.WriteLog(Convert.ToString(ex.InnerException));
lw.WriteLog(ex.StackTrace);
}
}
}
}
public static class HttpRequestHelper
{
private static readonly HttpClient client = new HttpClient();
public static async Task<T> GetAPIResponseAsync<T>(string apiEndpoint)
{
using (HttpResponseMessage response = await client.GetAsync(apiEndpoint, HttpCompletionOption.ResponseHeadersRead).ConfigureAwait(false))
{
response.EnsureSuccessStatusCode(); // throws if not success
string json = await response.Content.ReadAsStringAsync().ConfigureAwait(false);
return JsonConvert.DeserializeObject<T>(json);
}
}
}
注：使用している、.Resultまたは.GetAwaiter().GetResult()完了していない場合はTask、何かがうまくいかず、デッドロックを引き起こす可能性のある悪い習慣が目の前にあることを意味します。
上記のコードは、同時リクエストに改善できます。たとえば、一度にすべてを送信したり、一度に最大アクティブ制限で処理したりできます。ただし、最初に、上記のコードが機能することを確認することをお勧めします。