PhalconPHP中的大型进程

Question

我有webapp，这是日志应用程序，我需要备份/恢复/导入/导出功能那里。我用laravel成功地做到了这一点，但在Phalcon上有一些并发症。我不认为phalcon中的本机函数会在大型php脚本的块执行时被拆分。

事情是，日志将被备份和恢复以及由用户导入的ADIF格式(adif.org)我有解析器的格式转换文件数组，然后每条记录应搜索通过另一个表，包含2000个正则表达式，并找到3-10个匹配那里，连接导入的记录在一个表中的那些(模型关系hasMany)，这意味着每个导入的记录应该有相当长的处理时间。在导入了3500条记录的情况下，laravel以某种方式做到了这一点，我不知道它将如何处理更多记录。平均导入将包含10000条记录，每条记录都需要使用2000个正则表达式进行验证。

主要的问题是如何将这个巨大的处理分成更小的块，这样我就不会超时了？

Answer 1

下面的函数可以完美地完成在一个表中添加3862条记录的工作，并作为处理每个记录的结果在另一个表中添加8119条记录：

public function restoreAction()
{
    $this->view->disable();

    $user = Users::findFirst($this->session->auth['id']);

    if ($this->request->isPost()) {
        if ($this->request->isAjax()) {

            $frontCache = new CacheData(array(
                "lifetime" => 21600
            ));

            $cache = new CacheFile($frontCache, array(
                "cacheDir" => "../plc/app/cache/"
            ));

            $cacheKey = $this->request->getPost('fileName').'.cache';

            $records = $cache->get($cacheKey);

            if ($records === null) {
                $rowsPerChunk = 50;
                $adifSource = AdifHelper::parseFile(BASE_URL.'/uploads/'.$user->getUsername().'/'.$this->request->getPost('fileName'));
                $records = array_chunk($adifSource, $rowsPerChunk);
                $key = array_keys($records); 
                $size = count($key); 
            }

            for ($i = 0; $i < $size; $i++) {
                if (!isset($records[$i])) {
                    break;
                }
                set_time_limit(50);
                for ($j=0; $j < $rowsPerChunk; $j++) { 
                    $result = $records[$i][$j];
                    if (!isset($result)) {
                        break;
                    }
                    if(isset($result['call'])) {
                        $p = new PrefixHelper($result['call']);
                    }
                    $bandId = (isset($result['band']) && (strlen($result['band']) > 2)) ? Bands::findFirstByName($result['band'])->getId() : null;
                    $infos = (isset($p)) ? $p->prefixInfo() : null;
                    if (is_array($infos)) {
                        if (isset($result['qsl_sent']) && ($result['qsl_sent'] == 'q')) {
                            $qsl_rcvd = 'R';
                        } else if (isset($result['eqsl_qsl_sent']) && ($result['eqsl_qsl_sent'] == 'c')) {
                            $qsl_rcvd = 'y';
                        } else if (isset($result['qsl_rcvd'])) {
                            $qsl_rcvd = $result['qsl_rcvd'];
                        } else {
                            $qsl_rcvd ='i';
                        }
                        $logRow = new Logs();
                        $logRow->setCall($result['call']);
                        $logRow->setDatetime(date('Y-m-d H:i:s',strtotime($result['qso_date'].' '.$result['time_on'])));
                        $logRow->setFreq(isset($result['freq']) ? $result['freq'] : 0);
                        $logRow->setRst($result['rst_sent']);
                        $logRow->setQslnote(isset($result['qslmsg']) ? $result['qslmsg'] : '');
                        $logRow->setComment(isset($result['comment']) ? $result['comment'] : '');
                        $logRow->setQslRcvd($qsl_rcvd);
                        $logRow->setQslVia(isset($result['qsl_sent_via']) ? $result['qsl_sent_via'] : 'e');
                        $logRow->band_id = $bandId;
                        $logRow->user_id = $this->session->auth['id'];
                        $success = $logRow->save();

                        if ($success) {
                            foreach ($infos as $info) {
                                if (is_object($info)) {
                                    $inf = new Infos();
                                    $inf->setLat($info->lat);
                                    $inf->setLon($info->lon);
                                    $inf->setCq($info->cq);
                                    $inf->setItu($info->itu);
                                    if (isset($result['iota'])) {
                                        $inf->setIota($result['iota']);
                                    }
                                    if (isset($result['pfx'])) {
                                        $inf->setPfx($result['pfx']);
                                    }
                                    if (isset($result['gridsquare'])) {
                                        $inf->setGrid($result['gridsquare']);
                                    } else if (isset($result['grid'])) {
                                        $inf->setGrid($result['grid']);
                                    }
                                    $inf->qso_id = $logRow->getId();
                                    $inf->prefix_id = $info->id;

                                    $infSuccess[] = $inf->save();
                                }
                            }
                        }
                    }
                }
                sleep(1);
            }

        }       
    }
}

我知道，脚本需要很多改进，但现在的任务只是让它正常工作。

Answer 2

至于 phalcon ，它具有运行和处理cli任务的内置机制- Command Line Applications (此链接将始终指向phalcon最新版本的文档)