early 发表于 2014-12-24 17:39:25

请教什么方法能把amazon整站采集下来

什么方法能把amazon整站采集下来
火车头？
API接口这种怎么弄，

hudba 发表于 2014-12-24 17:59:49

楼主这是传说中的伸手党吗？:lol

djg2000 发表于 2014-12-24 19:30:51

楼主你这是要干什么呀

early 发表于 2014-12-24 19:54:05

djg2000 发表于 2014-12-24 19:30 static/image/common/back.gif
楼主你这是要干什么呀

复制采集站。然后做垃圾站

xinyf88 发表于 2014-12-24 20:35:33

垃圾站现在还能做出效果出来吗？

leexiaochong 发表于 2014-12-24 20:45:08

我能和楼主说amazon美国站的sku有两亿五千多万么;P

深蓝浅蓝 发表于 2014-12-24 23:27:49

野心略大啊。用上服务器集群不眠不休跑几个月说不定能成？

肥草 发表于 2014-12-25 01:34:00

LS正解      
野心略大啊。

osun 发表于 2014-12-25 10:05:01

2亿多商品，单URL地址就20多个G，压缩一下还有10个G，要是全采集回来会有多大呢，自己算吧

c21xdx 发表于 2014-12-25 10:05:58

真是张口就来啊，全部采集。。。。。额

leexiaochong 发表于 2014-12-25 10:42:25

楼主，我只能分享这些了，只是产品的URL和URL中的product name


gant 发表于 2014-12-25 11:06:06

leexiaochong XD 是已经尝试过了吗.呵呵

lanmao1 发表于 2014-12-25 11:28:03

雄心壮志:lol                                                                     

ryan2101 发表于 2014-12-25 12:27:29

规模太大，要是做垃圾站还不如采集一个品类就做一个站

zhexuezhishen 发表于 2014-12-25 12:36:57

得不偿失啊，还是老老实实做吧

leexiaochong 发表于 2014-12-25 12:37:58

gant 发表于 2014-12-25 11:06 static/image/common/back.gif
leexiaochong XD 是已经尝试过了吗.呵呵

还没有,不知道能不能存储amazon product price:'(

qwiuy 发表于 2014-12-25 12:54:12

亚马逊astore，采集都省了:lol

early 发表于 2014-12-26 10:15:51

太给力的回贴了，采集一个品类可行，或是采集个几百万也是可行，全采集了是个大问题，由其@leexiaochong 回贴 这个数据量太大了。

leexiaochong 发表于 2014-12-26 17:21:43

early 发表于 2014-12-26 10:15 static/image/common/back.gif
太给力的回贴了，采集一个品类可行，或是采集个几百万也是可行，全采集了是个大问题，由其@leexiaochong 回 ...

我的想法是使用lucene进行索引，然后做一个amazon 价格跟踪的网站，但还不知道amazon允不允许存储产品价格。

熟能生巧哇 发表于 2015-1-1 01:29:16

leexiaochong 发表于 2014-12-26 17:21 static/image/common/back.gif
我的想法是使用lucene进行索引，然后做一个amazon 价格跟踪的网站，但还不知道amazon允不允许存储产品价 ...

lucene是java的把？ PHP 用不了把？

页: [1] 2
查看完整版本: 请教什么方法能把amazon整站采集下来