"use strict"; var __importDefault = (this && this.__importDefault) || function (mod) { return (mod && mod.__esModule) ? mod : { "default": mod }; }; Object.defineProperty(exports, "__esModule", { value: true }); exports.ingestJobOffers = void 0; const client_1 = require("@prisma/client"); const FranceTravailService_1 = __importDefault(require("../services/FranceTravailService")); const prisma = new client_1.PrismaClient(); // Fonction utilitaire pour introduire un délai const sleep = (ms) => new Promise(resolve => setTimeout(resolve, ms)); const ingestJobOffers = async (req, res) => { console.log('Ingesting job offers...'); // Log pour vérifier que le fichier TS est utilisé const BATCH_SIZE = 149; // Limite par requête, -1 pour une plage 0-149 const TOTAL_OFFERS_TO_FETCH = 1000; // Nombre total d'offres que vous voulez essayer d'ingérer const DELAY_MS = 150; // Délai en ms entre chaque requête pour respecter le rate limit (1000ms/10appels = 100ms, donc 150ms est prudent) let totalIngestedCount = 0; let page = 0; try { for (let start = 0; start < TOTAL_OFFERS_TO_FETCH; start += (BATCH_SIZE + 1)) { const end = start + BATCH_SIZE; const range = `${start}-${end}`; console.log(`Workspaceing offers with range: ${range}`); try { const jobOffersResponse = await FranceTravailService_1.default.getJobOffers({ range }); const jobOffers = jobOffersResponse.resultats; // Assurez-vous que la réponse contient bien un tableau 'resultats' if (!jobOffers || jobOffers.length === 0) { console.log(`No more offers found for range ${range}. Stopping ingestion.`); break; // Arrête la boucle s'il n'y a plus d'offres } for (const offre of jobOffers) { const mappedOffer = { id: String(offre.id), // S'assurer que l'ID est une string pour Prisma title: offre.intitule || 'N/A', // Ajouter des valeurs par défaut pour les champs obligatoires si l'API peut retourner null description: offre.description || 'N/A', publicationDate: new Date(offre.dateCreation), romeCode: offre.romeCode || null, romeLabel: offre.romeLibelle || null, locationLabel: offre.lieuTravail?.libelle || null, postalCode: offre.lieuTravail?.codePostal || null, departmentCode: offre.lieuTravail?.codeDepartement || null, cityName: offre.lieuTravail?.ville || null, companyName: offre.entreprise?.nom || null, contractType: offre.typeContrat || null, contractLabel: offre.libelleTypeContrat || null, }; // Assurer la validité des dates pour Prisma if (isNaN(mappedOffer.publicationDate.getTime())) { console.warn(`Invalid dateCreation for offer ID: ${offre.id}. Using current date.`); mappedOffer.publicationDate = new Date(); } await prisma.jobOffer.upsert({ where: { id: mappedOffer.id }, update: mappedOffer, create: mappedOffer, }); totalIngestedCount++; } console.log(`Ingested ${jobOffers.length} offers for range ${range}. Total: ${totalIngestedCount}`); } catch (batchError) { // Gérer les erreurs spécifiques à un appel de lot (ex: rate limit temporaire) const axiosError = batchError; // Utiliser 'any' pour un accès flexible à la propriété 'response' console.warn(`Error fetching batch for range ${range}:`, axiosError.response?.data || axiosError.message); // Si c'est une erreur de rate limit, vous pourriez vouloir augmenter le délai ou réessayer } // Introduire un délai avant la prochaine requête pour respecter le rate limit if (start + (BATCH_SIZE + 1) < TOTAL_OFFERS_TO_FETCH) { await sleep(DELAY_MS); } } res.status(200).json({ message: `Job offers ingestion complete. Total offers processed: ${totalIngestedCount}`, count: totalIngestedCount, }); } catch (error) { console.error('Fatal error during job offers ingestion process:', error); res.status(500).json({ error: 'Failed to ingest job offers' }); } finally { await prisma.$disconnect(); // Déconnecter Prisma après l'opération } }; exports.ingestJobOffers = ingestJobOffers;