PHP实时采集帖吧
687
- 攻城狮2011-09-21中级会员27736
断断续续写了两三个月,先完成了主框架,然后就一直在测试运行,目前来看已经没啥问题了。
为了做本地论坛写的,初期需要先塞点内容进去。主要代码- (.+?)\/", $html_list, $tie_preg);
- - // 置顶帖数量
- $top = substr_count($html_list, '置顶');
- // 帖子数组
- $tie_array = array_combine($tie_preg[1], $tie_preg[2]);
- $continue_c = 0;
- - // 遍历单页面帖子列表
- foreach($tie_array as $tb_tid=>$title){
- - // 效率第一,跳过置顶
- if($continue_c 尾页\\/",
- $html_tie, $preg_page);
- $page_max = isset($preg_page[1]) ? $preg_page[1] : 1;
- echo "page num: {$page_max}\n";
- - // 比较发布数量
- preg_match("/共有\(\d+?)\篇贴子/",
- $html_tie, $preg_postnum);
- $postnum_now = $preg_postnum[1];
- echo "postnum_log:{$postnum_log}, postnum_now:{$postnum_now}.\n";
- if($postnum_log >= $postnum_now){
- echo "{$red}continue.{$end}\n\n";
- continue 2;
- }
- - // 合并所有页面HTML
- echo "get page: ";
- $html_tie = '';
- for($i = $page_max; $i >= 1; $i--){
- echo "{$i}.";
- $url_tie_page = "{$url_tie}?pn={$i}";
- $html_tie = get_html($url_tie_page) . $html_tie;
- if(strpos($html_tie, $lastpid) !== FALSE){
- echo " done.";
- break;
- }
- }
- echo "\n";
- - // 分割所有回复片段
- preg_match_all("/class="l_post"(.+?)post_split/ms",
- $html_tie, $preg_array);
- $post_array = $preg_array[1];
- - // PID、提取用户名、回复内容、引用内容
- $pid_array = array();
- $user_array = array();
- $content_array = array();
- $cc_array = array();
- $tbuid_array = array();
- $legend_array = array();
- $quote_array = array();
- foreach($post_array as $post){
- preg_match("/"name":"(.?)".?"portrait":"(.*?)"/",
- $post, $preg_user);
- // 用户名
- @$user_array[] = $preg_user[1];
- // 用来取用户头像的字符串
- @$tbuid_array[] = $preg_user[2];
- - preg_match("/\\(.*?)\\/ms",
- $post, $preg_content);
- // 帖吧的PID
- @$pid_array[] = $preg_content[1];
- // 回帖内容
- @$content_array[] = $preg_content[2];
- - preg_match("/\(.+?)\.?\(.?)\/ms",
- $post, $preg_cc);
- // 引用自
- @$legend_array[] = str_replace(" ", " ", $preg_cc[1]);
- // 引用内容
- @$quote_array[] = $preg_cc[2];
- }
- - // 入库
- $isfirst = TRUE;
- $key_find = array_search($lastpid, $pid_array);
- - if($key_find === FALSE){
- $key_start = 0;
- }else{
- $key_start = $key_find + 1;
- }
- $key_end = count($pid_array) - 1;
- for($i = $key_start; $i 复制代码