C #: thread aborta sem completar as solicitações restantes

Aug 18 2020

Implementei um agendador que envia solicitação a um endpoint de terceiros. Depois de receber a resposta, meu banco de dados local é atualizado com a resposta. Atualmente, estou enviando mais de 50 mil solicitações (1 mil solicitações a cada 10 minutos) e processo a resposta. O problema é que às vezes o servidor de terceiros não responde ou a solicitação atinge o tempo limite. Nesse caso, recebo uma exceção e o thread é abortado sem processar as solicitações restantes. O que eu preciso é não abortar o thread e prosseguir com o próximo registro para que o registro perdido seja processado em outro lote. Aqui está o código que estou usando.

public class ScheduledAPIJob : IJob
{
    public Task Execute(IJobExecutionContext context)
    {
        Task taskAPI = Task.Factory.StartNew(() => ProcessAPI());
        return taskAPI;
    }
    void ProcessAPI()
    {
        //Error logging object
        SchedulerLogWriter lw = new SchedulerLogWriter("Logs\\Scheduler");

        List<WeatherData> list = new List<WeatherData>();

        APIQueueBAL objBal = new APIQueueBAL();

        //List of endpoints to hit.
        var APIQueue = objBal.QueuedAPIs();

        foreach (var item in APIQueue)
        {
            try
            {
                var endpoint = item.FunctionParameters;
                HttpRequestHelper objRequestHelper = new HttpRequestHelper();
                
                //Response from API
                var response = objRequestHelper.GetAPIResponse(endpoint);
                
                ////Update local database.
                if (response.StatusCode == System.Net.HttpStatusCode.OK)
                {
                    list = JsonConvert.DeserializeObject<List<WeatherData>>(response.Content.ReadAsStringAsync().Result);
                    objBal.ProcessWeatherData(item, list);
                }
            }
            catch (Exception ex)
            {
                lw.WriteLog(ex.Message);
                lw.WriteLog(Convert.ToString(ex.InnerException));
                lw.WriteLog(ex.StackTrace);
            }
        }
    }
}

public class HttpRequestHelper
{
    public HttpResponseMessage GetAPIResponse(string apiEndpoint)
    {
        using (var client = new HttpClient())
        {
            var getTask = client.GetAsync(apiEndpoint);
            getTask.Wait();
            return getTask.Result;
        }
    }
}

Respostas

aepot Aug 18 2020 at 14:38

Conforme HttpClientdocumentação:

HttpClient destina-se a ser instanciado uma vez por aplicativo, em vez de por uso.

HttpClientinstância por solicitação pode causar exaustão de soquete que não torna possível enviar novas solicitações.

às vezes o servidor de terceiros não responde

Talvez o servidor de terceiros esteja OK, mas seus Sockets não. Isso também pode causar o ThreadAbortExceptionenvio de em alguma nova solicitação, especialmente se você estiver executando a solicitação de forma síncrona. getTask.Wait()é uma chamada de sincronização sobre assíncrona que não é recomendada e não é necessária aqui.

Considere este código atualizado para usar async/await.

public class ScheduledAPIJob : IJob
{
    public Task Execute(IJobExecutionContext context)
    {
        return ProcessAPI();
    }
    private async Task ProcessAPI()
    {
        //Error logging object
        SchedulerLogWriter lw = new SchedulerLogWriter("Logs\\Scheduler");

        APIQueueBAL objBal = new APIQueueBAL();

        //List of endpoints to hit.
        var APIQueue = objBal.QueuedAPIs();

        foreach (var item in APIQueue)
        {
            try
            {
                string endpoint = item.FunctionParameters;

                //Response from API
                List<WeatherData> list = await HttpRequestHelper.GetAPIResponseAsync<List<WeatherData>>(endpoint);
                objBal.ProcessWeatherData(item, list);
            }
            catch (Exception ex)
            {
                lw.WriteLog(ex.Message);
                lw.WriteLog(Convert.ToString(ex.InnerException));
                lw.WriteLog(ex.StackTrace);
            }
        }
    }
}

public static class HttpRequestHelper
{
    private static readonly HttpClient client = new HttpClient();

    public static async Task<T> GetAPIResponseAsync<T>(string apiEndpoint)
    {
        using (HttpResponseMessage response = await client.GetAsync(apiEndpoint, HttpCompletionOption.ResponseHeadersRead).ConfigureAwait(false))
        {
            response.EnsureSuccessStatusCode(); // throws if not success
            string json = await response.Content.ReadAsStringAsync().ConfigureAwait(false);
            return JsonConvert.DeserializeObject<T>(json);
        }
    }
}

Nota: se você estiver usando .Resultou .GetAwaiter().GetResult()não concluído Task, significa que algo deu errado e há uma má prática na sua frente que pode causar um deadlock.

O código acima pode ser aprimorado para solicitações simultâneas, por exemplo, enviar tudo de uma vez ou lidar com o limite ativo máximo de uma vez. Mas primeiro é melhor garantir que o código acima funcione.