test

application/controllers/Parser.php

@@ -25,90 +25,84 @@ class Parser extends CI_Controller
 
     public function index()
     {
-        $existCronRun = $this->Parser_model->existCronRun();
+        /*$existCronRun = $this->Parser_model->existCronRun();
 
         if ($existCronRun['num_rows'] > 0) {
-            if ($existCronRun['datos']->cron_ejecucion == 0) {
+        if ($existCronRun['datos']->cron_ejecucion == 0) {
 
-                $this->Parser_model->inicioParser();
+        $this->Parser_model->inicioParser();
 
-                $tablasTruncate = $this->Parser_model->getMapaTablas();
+        $resultSetPerfiles = $this->Parser_model->getUrlArchivos();
 
-                foreach ($tablasTruncate['datos'] as $row) {
-                    $this->Parser_model->truncateTables($row->tabla_sucia);
-                }
-
-                $resultSetPerfiles = $this->Parser_model->getUrlArchivos();
-
-                foreach ($resultSetPerfiles['datos'] as $row) {
-                    $fechaCarpeta = date("Y-m-d_H-i-s");
-                    $this->fechaCreacionLog = $fechaCarpeta;
-                    $rutaPerfil = $this->rutaDiaria . "/" . $row->prefijos_tablas;
+        foreach ($resultSetPerfiles['datos'] as $row) {
+        $fechaCarpeta = date("Y-m-d_H-i-s");
+        $this->fechaCreacionLog = $fechaCarpeta;
+        $rutaPerfil = $this->rutaDiaria . "/" . $row->prefijos_tablas;
 
-                    $this->newFolder($rutaPerfil);
+        $this->newFolder($rutaPerfil);
 
-                    if ($this->newFolder($rutaPerfil . "/" . $fechaCarpeta)) {
-                        $this->rutaDiariaFecha = $rutaPerfil . "/" . $fechaCarpeta . "/";
+        if ($this->newFolder($rutaPerfil . "/" . $fechaCarpeta)) {
+        $this->rutaDiariaFecha = $rutaPerfil . "/" . $fechaCarpeta . "/";
 
-                        $this->downloadProcess($row->url_descarga);
-                    }
-                }
+        $this->downloadProcess($row->url_descarga);
+        }
+        }
 
-                $this->parserfile->index($this->rutaDiariaFecha, $fechaCarpeta, $row);
+        $this->parserfile->index($this->rutaDiariaFecha, $fechaCarpeta, $row);
 
-            } else {
-                echo "EXISTE UN CRON EN MARCHA.";
-            }
         } else {
-            echo "No existe parametro que iniciar.";
+        echo "EXISTE UN CRON EN MARCHA.";
+        }
+        } else {
+        echo "No existe parametro que iniciar.";
         }
 
         $this->Parser_model->stopParser();
 
-        $this->tablasCalculadas($this->fechaCreacionLog);
+        $this->tablasCalculadas($this->fechaCreacionLog);*/
 
-        /*$resultSetPerfiles = $this->Parser_model->getUrlArchivos();
-    foreach ($resultSetPerfiles['datos'] as $row) {
-    $this->parserfile->index($this->rutaDiaria . "PER_PCSP_EX/2022-02-10_09-02-17", date("Y-m-n"), $row);
-    }*/
+        $resultSetPerfiles = $this->Parser_model->getUrlArchivos();
+        foreach ($resultSetPerfiles['datos'] as $row) {
+            $this->parserfile->index($this->rutaDiaria . "PER_PCSP_EX/2022-02-17_20-38-16", date("Y-m-d"), $row);
+        }
     }
 
     private function downloadProcess($urlXML)
     {
-        /*$fileName = basename($urlXML);
+        $fileName = basename($urlXML);
         $downladedZip = $this->downloadFile($fileName, $urlXML, $this->rutaDiariaFecha);
 
         if ($downladedZip) {
-        $zip = new ZipArchive;
-        if ($zip->open($this->rutaDiariaFecha . $fileName)) {
-        $zip->extractTo($this->rutaDiariaFecha);
-        $zip->close();
-        unlink($this->rutaDiariaFecha . $fileName);
-        $archivosTotales = get_filenames($this->rutaDiariaFecha);
-
-        foreach ($archivosTotales as $file) {
-        $this->getFile($this->rutaDiariaFecha . $file, $file);
-        }
+            $zip = new ZipArchive;
+            if ($zip->open($this->rutaDiariaFecha . $fileName)) {
+                $zip->extractTo($this->rutaDiariaFecha);
+                $zip->close();
+                unlink($this->rutaDiariaFecha . $fileName);
+                $archivosTotales = get_filenames($this->rutaDiariaFecha);
+
+                foreach ($archivosTotales as $file) {
+                    $this->getFile($this->rutaDiariaFecha . $file, $file);
+                }
 
-        }
+            }
 
-        }*/
-        $fileName = basename($urlXML);
-        $this->downloadFile($fileName, $urlXML, $this->rutaDiariaFecha);
-        $archivoAtom = $this->getFile($this->rutaDiariaFecha . $fileName, $fileName);
-        $nuevoAtomAttrNext = $this->readNextAttribute($archivoAtom);
+        }
+        /*$fileName = basename($urlXML);
+    $this->downloadFile($fileName, $urlXML, $this->rutaDiariaFecha);
+    $archivoAtom = $this->getFile($this->rutaDiariaFecha . $fileName, $fileName);
+    $nuevoAtomAttrNext = $this->readNextAttribute($archivoAtom);
 
-        while ($nuevoAtomAttrNext !== "") {
-            //$aux = 0;
-            //while ($aux <= 3) {
+    while ($nuevoAtomAttrNext !== "") {
+    //$aux = 0;
+    //while ($aux <= 3) {
 
-            $fileName = basename($nuevoAtomAttrNext);
-            $this->downloadFile($fileName, $nuevoAtomAttrNext, $this->rutaDiariaFecha);
-            $archivoAtom = $this->getFile($this->rutaDiariaFecha . $fileName, $fileName);
+    $fileName = basename($nuevoAtomAttrNext);
+    $this->downloadFile($fileName, $nuevoAtomAttrNext, $this->rutaDiariaFecha);
+    $archivoAtom = $this->getFile($this->rutaDiariaFecha . $fileName, $fileName);
 
-            $nuevoAtomAttrNext = $this->readNextAttribute($archivoAtom);
-            //$aux++;
-        }
+    $nuevoAtomAttrNext = $this->readNextAttribute($archivoAtom);
+    //$aux++;
+    }*/
     }
 
     private function getFile($url, $fileName)

application/core/MY_DB_mysqli_driver.php

@@ -1,89 +1,82 @@
 <?php
-class MY_DB_mysqli_driver extends CI_DB_mysqli_driver {
-
-   final public function __construct($params)
+class MY_DB_mysqli_driver extends CI_DB_mysqli_driver
 {
-  parent::__construct($params);
-}
 
-  /**
-   * Insert_On_Duplicate_Update_Batch
-   *
-   * Compiles batch insert strings and runs the queries
-   * MODIFIED to do a MySQL 'ON DUPLICATE KEY UPDATE'
-   *
-   * @access public
-   * @param string the table to retrieve the results from
-   * @param array an associative array of insert values
-   * @return object
-   */
-  function insert_on_duplicate_update_batch($table = '', $set = NULL)
-  {
-    if ( ! is_null($set))
+    final public function __construct($params)
     {
-     $this->set_insert_batch($set);
+        parent::__construct($params);
     }
 
-    if (count($this->qb_set) == 0)
+    /**
+     * Insert_On_Duplicate_Update_Batch
+     *
+     * Compiles batch insert strings and runs the queries
+     * MODIFIED to do a MySQL 'ON DUPLICATE KEY UPDATE'
+     *
+     * @access public
+     * @param string the table to retrieve the results from
+     * @param array an associative array of insert values
+     * @return object
+     */
+    public function insert_on_duplicate_update_batch($table = '', $set = null)
     {
-     if ($this->db_debug)
-     {
-      //No valid data array.  Folds in cases where keys and values did not match up
-      return $this->display_error('db_must_use_set');
-     }
-     return FALSE;
-    }
+        if (!is_null($set)) {
+            $this->set_insert_batch($set);
+        }
 
-    if ($table == '')
-    {
-     if ( ! isset($this->qb_from[0]))
-     {
-      if ($this->db_debug)
-      {
-       return $this->display_error('db_must_set_table');
-      }
-      return FALSE;
-     }
+        if (count($this->qb_set) == 0) {
+            if ($this->db_debug) {
+                //No valid data array.  Folds in cases where keys and values did not match up
+                return $this->display_error('db_must_use_set');
+            }
+            return false;
+        }
 
-     $table = $this->qb_from[0];
-    }
+        if ($table == '') {
+            if (!isset($this->qb_from[0])) {
+                if ($this->db_debug) {
+                    return $this->display_error('db_must_set_table');
+                }
+                return false;
+            }
 
-    // Batch this baby
-    for ($i = 0, $total = count($this->qb_set); $i < $total; $i = $i + 5000)
-    {
+            $table = $this->qb_from[0];
+        }
 
-     $sql = $this->_insert_on_duplicate_update_batch($this->protect_identifiers($table, TRUE, NULL, FALSE), $this->qb_keys, array_slice($this->qb_set, $i, 5000));
+        // Batch this baby
+        for ($i = 0, $total = count($this->qb_set); $i < $total; $i = $i + 5000) {
 
-     // echo $sql;
+            $sql = $this->_insert_on_duplicate_update_batch($this->protect_identifiers($table, true, null, false), $this->qb_keys, array_slice($this->qb_set, $i, 5000));
 
-     $this->query($sql);
-    }
+            // echo $sql;
 
-    $this->_reset_write();
+            $this->query($sql);
+        }
 
+        $this->_reset_write();
 
-    return TRUE;
-  }
+        return true;
+    }
 
-  /**
-   * Insert_on_duplicate_update_batch statement
-   *
-   * Generates a platform-specific insert string from the supplied data
-   * MODIFIED to include ON DUPLICATE UPDATE
-   *
-   * @access public
-   * @param string the table name
-   * @param array the insert keys
-   * @param array the insert values
-   * @return string
-   */
-  private function _insert_on_duplicate_update_batch($table, $keys, $values)
-  {
-    foreach($keys as $key)
-     $update_fields[] = $key.'=VALUES('.$key.')';
+    /**
+     * Insert_on_duplicate_update_batch statement
+     *
+     * Generates a platform-specific insert string from the supplied data
+     * MODIFIED to include ON DUPLICATE UPDATE
+     *
+     * @access public
+     * @param string the table name
+     * @param array the insert keys
+     * @param array the insert values
+     * @return string
+     */
+    private function _insert_on_duplicate_update_batch($table, $keys, $values)
+    {
+        foreach ($keys as $key) {
+            $update_fields[] = $key . '=VALUES(' . $key . ')';
+        }
 
-    return "INSERT INTO ".$table." (".implode(', ', $keys).") VALUES ".implode(', ', $values)." ON DUPLICATE KEY UPDATE ".implode(', ', $update_fields);
-  }
+        return "INSERT INTO " . $table . " (" . implode(', ', $keys) . ") VALUES " . implode(', ', $values) . " ON DUPLICATE KEY UPDATE " . implode(', ', $update_fields);
+    }
 
 }
-?>

application/helpers/funciones_helper.php

@@ -73,8 +73,15 @@ if (!function_exists("insertBucle")) {
         if (count($conjunto) > 0) {
             guardar_log($nombreLog, count($conjunto));
             $CI->db->insert_batch($nombreTabla, $conjunto);
+
         }
 
+        unset($conjunto);
+        gc_collect_cycles();
+        /*$query = $this->db->query($sql);
+        $result = $query->result();
+        $query->free_result();*/
+
         return $CI->db->insert_id();
     }
 }
@@ -105,7 +112,7 @@ if (!function_exists("insertBucleDuplicateOnKey")) {
             if ($contador % 5000 == 0) {
                 guardar_log($nombreLog, "Insertados - " . count($conjunto));
                 //$CI->db->insert_batch($nombreTabla, $conjunto);
-                $CI->db->insert_on_duplicate_update_batch($nombreTabla, $conjunto);
+                $CI->db->insert_on_duplicate_update_batch($nombreTabla, $conjunto, $nombreLog);
 
                 $conjunto = array();
             }
@@ -114,9 +121,10 @@ if (!function_exists("insertBucleDuplicateOnKey")) {
         if (count($conjunto) > 0) {
             guardar_log($nombreLog, "Insertados - " . count($conjunto));
             //$CI->db->insert_batch($nombreTabla, $conjunto);
-            $CI->db->insert_on_duplicate_update_batch($nombreTabla, $conjunto);
+            $CI->db->insert_on_duplicate_update_batch($nombreTabla, $conjunto, $nombreLog);
         }
-
+        unset($conjunto);
+        gc_collect_cycles();
         return $CI->db->insert_id();
     }
 }

application/libraries/ParserDatabaseBruto.php

@@ -36,14 +36,6 @@ class ParserDatabaseBruto
 
                 $this->setTenderingTerms($datosArchivo);
 
-                /*$this->setDatosMultiples($datosArchivo['tenderingTerms'], 1, "bruto_tendering_terms", "TenderingTerms");
-
-                $this->setDatosMultiples($datosArchivo['tenderingTerms'], 2, "bruto_tendering_terms", "TenderingTerms");
-
-                $this->setDatosMultiples($datosArchivo['tenderingTerms'], 3, "bruto_tendering_terms", "TenderingTerms");
-
-                $this->setDatosMultiples($datosArchivo['tenderingTerms'], 4, "bruto_tendering_terms", "TenderingTerms");*/
-
                 $this->setLocatedContractingParty($datosArchivo); //, "locatedContractingParty", "BRUTO_located_contracting_party", "locatedContractingParty");
 
                 $this->setParty($datosArchivo);
@@ -63,10 +55,11 @@ class ParserDatabaseBruto
                 $this->setInsertArryByArray($datosArchivo, "generalDocs", ["BRUTO_general_documents", "mapa_nivel_general_docs"], "GeneralDocs");
 
                 $this->setInsertArryByArray($datosArchivo, "additionalDocs", ["BRUTO_additional_documents", "mapa_nivel_additional_docs"], "additionalDocs");
+
             }
-        }
 
-        return;
+            $arrayDatosSucios = array();
+        }
     }
 
     private function setProcurementProjectArray($procurementProjectData)
@@ -399,18 +392,19 @@ class ParserDatabaseBruto
     private function setDatosMultiples($arrayDatos, $arrayKey, $tabla, $nodoLog): void
     {
         $setInsert = array();
+
         $resultInsert = 0;
 
         if (array_key_exists($arrayKey, $arrayDatos)) {
             if (!empty($arrayDatos[$arrayKey])) {
 
-                $resultInsert = insertBucleDuplicateOnKey($arrayDatos[$arrayKey], $tabla, $this->nombreLog);
+                $resultInsert = insertBucle($arrayDatos[$arrayKey], $tabla, $this->nombreLog);
 
                 if ($resultInsert) {
-                    $result = array("result" => true);
+                    //$result = array("result" => true);
                     guardar_log($this->nombreLog, $nodoLog . " Finalizada Inserción", "false");
                 } else {
-                    $result = array("result" => true, "id" => 0);
+                    //$result = array("result" => true, "id" => 0);
                     guardar_log($this->nombreLog, $nodoLog . " Fallida", "false", 2);
                 }
             } else {

application/libraries/ParserFile.php

@@ -11,6 +11,7 @@ class ParserFile
     protected $rutaDiaria = "";
     protected $rutaMensual = FCPATH . "DOWNLOADS/MONTH/format";
     protected $fechaInicioParser = "";
+    protected $arrayLicitacionExiste = array();
 
     //TODO: Añadir los nodos que falten mirando la libreria de java
     //TODO Nuevo Nodo: Proveedor de pliegos->TenderingTerms->DocumentProviderParty
@@ -23,6 +24,7 @@ class ParserFile
     {
         $this->CI = &get_instance();
         $this->CI->load->helper('file');
+        $this->CI->load->model("Parser_model");
         $this->CI->load->library('parserdatabasebruto');
         $this->CI->load->library('parserdatabaselimpio');
     }
@@ -32,63 +34,155 @@ class ParserFile
         $this->rutaDiaria = $rutaDiariaDownloader . "/format/";
         $this->fechaInicioParser = $fechaInicioParser;
         $files = get_filenames($this->rutaDiaria, true);
+        $filename = "";
+        $xml = "";
+        $json = "";
+        $array = "";
+        $aux = 0;
+        $this->arrayLicitacionExiste = array();
+        $resultEntries = array();
 
         guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, "----------------------------------", false);
 
-        foreach ($files as $file) {
-            $resultEntries = array();
-            $entrada = file_get_contents($file);
-            $xml = simplexml_load_string($entrada, "SimpleXMLElement", LIBXML_NOCDATA);
-            $json = json_encode($xml);
-            $array = json_decode($json, true);
+        guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, "MEMORIA Inicio archivos: " . $this->echo_memory_usage(), false);
 
+        foreach ($files as $file) {
             $filename = basename($file);
+            guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, "MEMORIA leyendo archivo - " . $filename . "-" . $this->echo_memory_usage(), false);
+            $xml = simplexml_load_file($file, "SimpleXMLElement", LIBXML_NOCDATA);
+            guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, "MEMORIA xml- " . $filename . "-" . $this->echo_memory_usage(), false);
+            //$json = ;
+            guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, "MEMORIA json_encode- " . $filename . "-" . $this->echo_memory_usage(), false);
+            $array = json_decode(json_encode($xml), true);
+            guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, "MEMORIA json_decode- " . $filename . "-" . $this->echo_memory_usage(), false);
+            //$array = (array) $xml;
+            //var_dump($array);
             $aux = 0;
+
+            $tablasTruncate = $this->CI->Parser_model->getMapaTablas();
+            foreach ($tablasTruncate['datos'] as $row) {
+                $this->CI->Parser_model->truncateTables($row->tabla_sucia);
+            }
+
+            gc_mem_caches();
+            gc_collect_cycles();
+
             foreach ($array['entry'] as $clave => $row) {
 
-                $arrayDeletedEntries = $xml->children('at', true);
+                $existLicitacionActualizada = $this->getDatosLicitacion($row);
+
+                if (!$existLicitacionActualizada) {
+                    //$arrayDeletedEntries = $xml->children('at', true);
 
-                $resultEntries[$filename]['general'][$aux] = $this->nodoEntry($row, $xml->entry[$clave], $datosPerfil->id);
+                    $resultEntries[$filename]['general'][$aux] = $this->nodoEntry($row, $xml->entry[$clave], $datosPerfil->id);
 
-                $resultEntries[$filename]['contractInfo'][$aux] = $this->nodoContractFolderStatus($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['contractInfo'][$aux] = $this->nodoContractFolderStatus($row, $xml->entry[$clave]);
 
-                $resultEntries[$filename]['locatedContractingParty'][$aux] = $this->nodoLocatedContractingParty($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['locatedContractingParty'][$aux] = $this->nodoLocatedContractingParty($row, $xml->entry[$clave]);
 
-                $resultEntries[$filename]['party'][$aux] = $this->nodoParty($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['party'][$aux] = $this->nodoParty($row, $xml->entry[$clave]);
 
-                $resultEntries[$filename]['procurementProject'][$aux] = $this->nodoPresupuesto($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['procurementProject'][$aux] = $this->nodoPresupuesto($row, $xml->entry[$clave]);
 
-                $resultEntries[$filename]['procurementProjectLot'][$aux] = $this->nodoProcurementProjectLot($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['procurementProjectLot'][$aux] = $this->nodoProcurementProjectLot($row, $xml->entry[$clave]);
 
-                $resultEntries[$filename]['tenderingTerms'][$aux] = $this->nodoTenderingTerms($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['tenderingTerms'][$aux] = $this->nodoTenderingTerms($row, $xml->entry[$clave]);
 
-                $resultEntries[$filename]['tenderingProcess'][$aux] = $this->nodoTenderingProcess($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['tenderingProcess'][$aux] = $this->nodoTenderingProcess($row, $xml->entry[$clave]);
 
-                $resultEntries[$filename]['tenderingResult'][$aux] = $this->nodoTenderResult($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['tenderingResult'][$aux] = $this->nodoTenderResult($row, $xml->entry[$clave]);
 
-                //$resultEntries[$filename]['validNoticeInfo'][$aux] = $this->nodoValidNoticeInfo($row);
+                    //$resultEntries[$filename]['validNoticeInfo'][$aux] = $this->nodoValidNoticeInfo($row);
 
-                $resultEntries[$filename]['legalDocs'][$aux] = $this->nodoLegalDoc($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['legalDocs'][$aux] = $this->nodoLegalDoc($row, $xml->entry[$clave]);
 
-                $resultEntries[$filename]['technicalDocs'][$aux] = $this->nodoTechnicalDocumentReference($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['technicalDocs'][$aux] = $this->nodoTechnicalDocumentReference($row, $xml->entry[$clave]);
 
-                $resultEntries[$filename]['generalDocs'][$aux] = $this->nodoGeneralDocuments($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['generalDocs'][$aux] = $this->nodoGeneralDocuments($row, $xml->entry[$clave]);
 
-                $resultEntries[$filename]['additionalDocs'][$aux] = $this->nodoAdditionalDocumentReference($row, $xml->entry[$clave]);
+                    $resultEntries[$filename]['additionalDocs'][$aux] = $this->nodoAdditionalDocumentReference($row, $xml->entry[$clave]);
 
-                $aux++;
+                    $aux++;
+                }
 
                 //$this->recurseXML($array['entry'], true);
             }
-
+            //guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, count($resultEntries));
+            //guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, count($resultEntries[$filename]));
+            //guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, "MEMORIA insertando tabla bruta - " . $filename . "-" . $this->echo_memory_usage(), false);
             $this->CI->parserdatabasebruto->setDatosParser($resultEntries, $fechaInicioParser, $datosPerfil);
+            unset($resultEntries[$filename]);
+            unset($resultEntries);
+            unset($this->arrayLicitacionExiste);
+            unset($xml);
+            //unset($json);
+            unset($array);
+
+            unset($tablasTruncate);
+            guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, "MEMORIA borrando arrays - " . $filename . "-" . $this->echo_memory_usage(), false);
+            $this->CI->parserdatabaselimpio->index($fechaInicioParser, $filename);
+            guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, "MEMORIA insertando maestros - " . $filename . "-" . $this->echo_memory_usage(), false);
+            guardar_log("setLicitacion__" . $datosPerfil->prefijos_tablas . "__" . $fechaInicioParser, "--------------------------------" . $this->echo_memory_usage(), false);
+            gc_mem_caches();
+            gc_collect_cycles();
+
+        }
+
+    }
+
+    public function echo_memory_usage()
+    {
+        $mem_usage = memory_get_usage(true);
 
-            $resultEntries = array();
-            $this->CI->parserdatabaselimpio->index($fechaInicioParser);
+        $result = "";
+        if ($mem_usage < 1024) {
+            $result = $mem_usage . " bytes";
+        } elseif ($mem_usage < 1048576) {
+            $result = round($mem_usage / 1024, 2) . " kilobytes";
+        } else {
+            $result = round($mem_usage / 1048576, 2) . " megabytes";
+        }
+
+        return $result;
+    }
+
+    private function getDatosLicitacion($xml): Bool
+    {
+        $idLicitacion = (string) substr($xml['id'], strrpos($xml['id'], '/') + 1);
+        $fechaUpdated = (string) $xml['updated'];
+        //$this->idLicitacion = $idLicitacion;
+        $this->fechaUpdateLicitacion = $fechaUpdated;
+        $result = false;
+
+        if ($idLicitacion == "9282002") {
+            $var = 1;
+        }
+
+        if (!array_key_exists($idLicitacion, $this->arrayLicitacionExiste)) {
+            $this->arrayLicitacionExiste[$idLicitacion] = $fechaUpdated;
+        } else {
+            $result = $this->existUpdatedLicitacion($idLicitacion, $fechaUpdated);
+        }
+
+        return $result;
+    }
 
+    private function existUpdatedLicitacion($idLicitacion, $fechaUpdated): Bool
+    {
+        $result = false;
+        if (array_key_exists($idLicitacion, $this->arrayLicitacionExiste)) {
+            $fechaExistente = $this->arrayLicitacionExiste[$idLicitacion];
+
+            if ($fechaExistente >= $fechaUpdated) {
+                $result = true;
+
+            } else {
+                $this->arrayLicitacionExiste[$idLicitacion] = $fechaUpdated;
+                $result = false;
+            }
         }
 
-        return;
+        return $result;
     }
 
     private function nodoEntry($xml, $xmlPrimitivo, $tipoPerfil)

application/libraries/Parserdatabaselimpio.php

@@ -13,37 +13,31 @@ class Parserdatabaselimpio
         $this->CI->load->model("Xlsexport_model");
     }
 
-    public function index($fechaInicioParser)
+    public function index($fechaInicioParser, $filename)
     {
         $tablasInsert = $this->CI->Parser_model->getMapaTablas();
 
         if ($tablasInsert['num_rows'] > 0) {
 
-            $licitacionDeleteCascada = $this->CI->Parser_model->getLicitacionesNuevasBruto();
+            //$licitacionDeleteCascada = $this->CI->Parser_model->getLicitacionesNuevasBruto();
 
-            if ($licitacionDeleteCascada['num_rows'] > 0) {
-                $this->CI->Parser_model->deleteCascadaNuevasLicitaciones();
+            //if ($licitacionDeleteCascada['num_rows'] > 0) {
+            $this->CI->Parser_model->deleteCascadaNuevasLicitaciones();
 
-                foreach ($tablasInsert['datos'] as $row) {
+            foreach ($tablasInsert['datos'] as $row) {
 
-                    $datosTablaToInsert = $this->CI->Parser_model->getDatosBrutos($row->tabla_sucia);
+                $datosTablaToInsert = $this->CI->Parser_model->getDatosBrutos($row->tabla_sucia);
 
-                    if ($datosTablaToInsert['num_rows'] > 0) {
-                        if ($row->tabla_maestra == "maestro_datos_iniciales_licitacion") {
-                            foreach ($datosTablaToInsert['datos'] as $datos) {
-                                unset($datos->id);
-                            }
-                        }
+                if ($datosTablaToInsert['num_rows'] > 0) {
+                    guardar_log("brutoToMaestro_" . $fechaInicioParser, "ARCHIVO--" . $row->tabla_maestra . "_" . $fechaInicioParser . " - " . $filename);
+                    insertBucle($datosTablaToInsert['datos'], $row->tabla_maestra, "brutoToMaestro_" . $fechaInicioParser);
 
-                        insertBucleDuplicateOnKey($datosTablaToInsert['datos'], $row->tabla_maestra, "brutoToMaestro_" . $fechaInicioParser);
-                    }
                 }
-
             }
 
-        }
+            //}
 
-        return;
+        }
     }
 
 }

application/models/Parser_model.php

@@ -55,6 +55,7 @@ class Parser_model extends CI_Model
         $result = $this->db->query($sql);
         $datos['datos'] = $result->row();
         $datos['num_rows'] = $result->num_rows();
+        $result->free_result();
         return $datos;
     }
 
@@ -64,6 +65,7 @@ class Parser_model extends CI_Model
         $result = $this->db->query($sql);
         $datos['datos'] = $result->result();
         $datos['num_rows'] = $result->num_rows();
+        $result->free_result();
         return $datos;
     }
 
@@ -79,6 +81,7 @@ class Parser_model extends CI_Model
         $result = $this->db->query($sql);
         $datos['datos'] = $result->result();
         $datos['num_rows'] = $result->num_rows();
+        $result->free_result();
         return $datos;
     }
 
@@ -93,6 +96,7 @@ class Parser_model extends CI_Model
         $result = $this->db->query($sql);
         $datos['datos'] = $result->result();
         $datos['num_rows'] = $result->num_rows();
+        $result->free_result();
         return $datos;
     }
 
@@ -100,7 +104,9 @@ class Parser_model extends CI_Model
     {
         $sql = "SELECT DISTINCT id_licitacion FROM bruto_datos_iniciales";
         $result = $this->db->query($sql);
+        $datos['datos'] = $result->result();
         $datos['num_rows'] = $result->num_rows();
+        $result->free_result();
         return $datos;
     }
 
@@ -122,6 +128,7 @@ class Parser_model extends CI_Model
         $result = $this->db->query($sql);
         $datos['datos'] = $result->result();
         $datos['num_rows'] = $result->num_rows();
+        $result->free_result();
         return $datos;
 
     }

composer.json

@@ -12,7 +12,8 @@
 	},
 	"require": {
 		"php": ">=5.3.7",
-		"phpoffice/phpspreadsheet": "^1.21"
+		"phpoffice/phpspreadsheet": "^1.21",
+		"halaxa/json-machine": "^1.0"
 	},
 	"suggest": {
 		"paragonie/random_compat": "Provides better randomness in PHP 5.x"