客户端采集发布模块php开发包 1.0

客户端采集发布模块php开发包 1.0软件介绍

/*
视采采集器客户端开发包
(C)2007-2009 dm Inc.
This is NOT a freeware, use is subject to license terms

www.doinfo.net www.caijiqi.net
hotheartboy@gmail.com
*/
客户端采集发布模块php开发包说明
版本:1.0
功能：
此开发包用于用户自定义网站采集发布模块.开发包提供完善的采集发布功能.
API:
taker
├common公共包
│├common.inc.php公共包含文件
│├config.inc.php基础配置文件
│├dataUtils.php数据处理工具。包括字符替换，附件下载等
│├HTTP.phphttp请求网页
│├httpUtils.phphttp协议工具包
│├ioUtils.php流处理工具包
│├Log.php日志包
│└req.php代理请求附件数据，突破防盗链限制
└csvcsv文件处理包
　└CSV.php读取采集系统提交的csv文件
示例代码:
1.代理请求附件数据，突破防盗链限制
$message = taker_attach ( $message, ’taker_trans_url’ );
2.读取采集系统提交的csv文件,发布到网站系统里
$csv = new CSV ( );
$csv->open (); //接收CSV文件
while ( ($data = $csv->next ()) != false ) {
post ( $data );
}
$csv->close ();
3.多线程下载附件到本地中
[down.php]
$message = $_POST [’message’];//$message为采集的文章内容
$message = taker_attach ( $message, ’down_attach’ );
updateDB...//更新数据库
[post.php]
$runner = new HTTPRunner ( $max, $tryc, $delay );
$url = "down.php?message=" . urlencode ( $message );//$message为采集的文章内容
$runner->run ( $url, ’POST’ );
$runner->close ();
多线程优化
1.打开log
设置$taker_log=true。
2.运行
选择一条规则运行，采集数据。
3.查看log
打开log.txt文件，如果有ERROR信息，根据具体的内容修改相应的配置。
301错误：线程并发太大，减少$taker_thread_count的数值和增大$taker_req_delay的数值。
failure错误：目标网站错误，适当增大$taker_try_count的重试次数。
保存修改。
4.验证
删除log.txt文件，再次运行规则，查看log,反复多次，直到没有错误或最少错误为止。
5.关闭log
删除log.txt文件。设置$taker_log=false。保存修改，调式结束。