liciagbar/application/controllers/Parser.php

<?php
defined('BASEPATH') or exit('No direct script access allowed');

class Parser extends CI_Controller
{

    //TODO: Gestionar descarga de archivos por carpeta dia/hora
    //TODO: PARAMETRIZAR BBDD -> SI EXISTE UN PROCESO EN MARCHA, NO INICIAR SIGUIENTE DESCARGA, AVISAR
    protected $rutaDiaria = FCPATH . "DOWNLOADS/DAILY/";
    protected $rutaDiariaFecha = "";

    protected $rutaMensual = FCPATH . "DOWNLOADS/MONTH/";
    protected $enlaceAtom = "";
    protected $fechaCreacionLog = "";

    public function __construct()
    {
        parent::__construct();
        $this->load->helper('file');
        $this->load->helper('xml');
        $this->load->library('parserfile');

        $this->load->model("Parser_model");
    }

    public function index()
    {
        $existCronRun = $this->Parser_model->existCronRun();

        if ($existCronRun['num_rows'] > 0) {
            if ($existCronRun['datos']->cron_ejecucion == 0) {

                $this->Parser_model->inicioParser();

                $resultSetPerfiles = $this->Parser_model->getUrlArchivos();

                foreach ($resultSetPerfiles['datos'] as $row) {
                    $fechaCarpeta = date("Y-m-d_H-i-s");
                    $this->fechaCreacionLog = $fechaCarpeta;
                    $rutaPerfil = $this->rutaDiaria . "/" . $row->prefijos_tablas;

                    $this->newFolder($rutaPerfil);

                    if ($this->newFolder($rutaPerfil . "/" . $fechaCarpeta)) {
                        $this->rutaDiariaFecha = $rutaPerfil . "/" . $fechaCarpeta . "/";

                        $this->downloadProcess($row->url_descarga);
                    }
                }

                $this->parserfile->index($this->rutaDiariaFecha, $fechaCarpeta, $row);

            } else {
                echo "EXISTE UN CRON EN MARCHA.";
            }
        } else {
            echo "No existe parametro que iniciar.";
        }

        $this->Parser_model->stopParser();

        $this->tablasCalculadas($this->fechaCreacionLog);

        /* $resultSetPerfiles = $this->Parser_model->getUrlArchivos();
    foreach ($resultSetPerfiles['datos'] as $row) {
    $this->parserfile->index($this->rutaDiaria . "PER_PCSP_EX/2022-02-17_20-38-16", date("Y-m-d"), $row);
    } */
    }

    private function downloadProcess($urlXML)
    {

        $fileName = basename($urlXML);
        $this->downloadFile($fileName, $urlXML, $this->rutaDiariaFecha);
        $archivoAtom = $this->getFile($this->rutaDiariaFecha . $fileName, $fileName);
        $nuevoAtomAttrNext = $this->readNextAttribute($archivoAtom);

        while ($nuevoAtomAttrNext !== "") {
            //$aux = 0;
            //while ($aux <= 3) {

            $fileName = basename($nuevoAtomAttrNext);
            $this->downloadFile($fileName, $nuevoAtomAttrNext, $this->rutaDiariaFecha);
            $archivoAtom = $this->getFile($this->rutaDiariaFecha . $fileName, $fileName);

            $nuevoAtomAttrNext = $this->readNextAttribute($archivoAtom);
            //$aux++;
        }
    }

    private function downloadZip($urlXML)
    {
        $fileName = basename($urlXML);
        $downladedZip = $this->downloadFile($fileName, $urlXML, $this->rutaDiariaFecha);

        if ($downladedZip) {
            $zip = new ZipArchive;
            if ($zip->open($this->rutaDiariaFecha . $fileName)) {
                $zip->extractTo($this->rutaDiariaFecha);
                $zip->close();
                unlink($this->rutaDiariaFecha . $fileName);
                $archivosTotales = get_filenames($this->rutaDiariaFecha);

                foreach ($archivosTotales as $file) {
                    $this->getFile($this->rutaDiariaFecha . $file, $file);
                }

            }

        }
    }

    private function getFile($url, $fileName)
    {

        $feed = implode(file($url));
        $xml = simplexml_load_string($feed);
        $json = json_encode($xml);
        $array = json_decode($json, true);

        $this->formatXml($feed, $fileName);
        return $array;
    }

    private function newFolder($rutaFinal)
    {
        $result = false;
        if (!is_dir($rutaFinal)) {
            $result = mkdir($rutaFinal);
            mkdir($rutaFinal . "/format");
        }

        return $result;
    }

    private function formatXml($xml, $fileName)
    {
        $openingFormat = $this->regExIniciosEsquema($xml);
        $closureFormat = $this->regExFinalesEsquema($openingFormat);
        file_put_contents($this->rutaDiariaFecha . "/format/" . $fileName, $closureFormat);
    }

    private function readNextAttribute($archivo)
    {
        $enlace = "";
        foreach ($archivo['link'] as $row) {
            $attrNext = $row['@attributes']['rel'];
            $attrHref = $row['@attributes']['href'];

            if ($attrNext === "next") {
                if (!strpos($attrHref, "licitacionesPerfilesContratanteCompleto3_2021")) { //"20220127_")) {
                    $enlace = $attrHref;
                } else {
                    $enlace = "";
                }
                //$enlace = $attrHref;
            }
        }

        return $enlace;
    }

    private function downloadFile($fileName, $url, $ruta)
    {
        if (file_put_contents($ruta . $fileName, file_get_contents($url))) {
            return true;
        } else {
            return false;
        }
    }

    private function regExIniciosEsquema($xml)
    {
        $pattern = "/(<cac:)|(<cbc:)|(<cac-place-ext:)|(<cbc-place-ext:)/";
        $result = preg_replace($pattern, "<", $xml);

        return $result;
    }

    private function regExFinalesEsquema($xml)
    {
        $pattern = "/(<\/cac:)|(<\/cbc:)|(<\/cac-place-ext:)|(<\/cbc-place-ext:)/";
        $result = preg_replace($pattern, "</", $xml);

        return $result;
    }

    private function tablasCalculadas($fechaInicioParser)
    {
        $this->Parser_model->truncateTables("import_licitaciones_temp");

        $this->Parser_model->truncateTables("vista_datos_licitacion");

        $licitaciones = $this->Xlsexport_model->getLicitaciones("HAVING LI.fecha_creacion_log = '" . $fechaInicioParser . "'");

        insertBucleDuplicateOnKey($licitaciones['datos'], "vista_datos_licitacion", "");

    }

}