sql速查表 发表于 2016-03-01 | 分类于 security SQL注入速查表(cheat sheet).wiz-todo, .wiz-todo-img {width: 16px; height: 16px; cursor: default; padding: 0 10px 0 2px; vertical-align: -10%;-webkit-user-se ... 阅读全文 »
assembly-python 发表于 2016-01-01 | 分类于 python 学习pyc逆向过程的一个总结 python执行过程 Python先把代码(.py文件)编译成字节码,交给字节码虚拟机,然后虚拟机一条一条执行字节码指令,从而完成程序的执行。 字节码在Python虚拟机程序里对应的是PyCodeObject对象。.pyc文件是字节码在磁盘上的表现形式。 PyCodeO ... 阅读全文 »
markdown语法 发表于 2015-11-01 | 分类于 other ####标题设置(让字体变大,和word的标题意思一样)在Markdown当中设置标题,有两种方式:第一种:通过在文字下方添加“=”和“-”,他们分别表示一级标题和二级标题。第二种:在文字开头加上 “#”,通过“#”数量表示几级标题。(一共只有1~6级标题,1级标题字体最大) ####块注释(b ... 阅读全文 »
使用pip安装python包 发表于 2015-10-15 | 分类于 python Pip 是安装python包的工具,提供了安装包,列出已经安装的包,升级包以及卸载包的功能。 ubutu下安装pip命令:sudo apt-get install python-pip 1 pip使用详解 pip安装包 12345678910安装包pip install SomePackage[. ... 阅读全文 »
Virtualenv-Virtualenvwrapper使 发表于 2015-09-30 | 分类于 python 本文目录: 虚拟环境简介 安装Virtualenv 创建虚拟环境 介绍增强版-Virtualenvwrapper 虚拟环境简介VirtualEnv用于在一台机器上创建多个独立的Python虚拟运行环境,多个Python环境相互独立,互不影响,它能够: 在没有权限的情况下安装新套件 不同应用可以使 ... 阅读全文 »
avoid-ban 发表于 2015-09-03 | 分类于 爬虫 根据scrapy官方文档:http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned里面的描述,要防止scrapy被ban,主要有以下几个策略: 动态设置user agent 禁用cookies 设置延 ... 阅读全文 »
pycharm调试scrapy 发表于 2015-08-25 | 分类于 爬虫 我是使用pycharm编写的程序,因为新手嘛,ide的很多功能都很方便,这里说下pycharm调试scrapy程序: 我们在运行爬虫时是调用scrapy程序,其第一个参数是crawl,在linux中使用下which scrapy我的输出是: 12tenshine@tenshine:~$ which ... 阅读全文 »
scrapy爬取cnblogs博客文章(保存mysql) 发表于 2015-07-24 | 分类于 爬虫 这篇文章接上篇scrapy爬取cnblogs博客文章(保存json)大部分和上篇文章没有区别,我直接说不同的地方,那就是处理数据的地方。 1.在item中新建一个字段linkmd5id=scrapy.Field()它的作用是用每篇文章的url作为唯一值,如果这个url在mysql数据库中没有存储,就 ... 阅读全文 »
scrapy爬取cnblogs博客文章(保存json) 发表于 2015-07-22 | 分类于 爬虫 本文为从某人cnblog的文章列表中爬取文章题目,url,摘要。 因为作者本人爬取的就是他自己的博客,所以我这里不做更改,只是为学习和记录另一种scrapy的方法。 1.创建project12345678910tenshine@tenshine:~$ scrapy startproject cnbl ... 阅读全文 »
scrapy爬取csdn博客文章 发表于 2015-07-20 | 分类于 爬虫 本文为爬取某人csdn博客中文章题目和url,因为作者本人爬取的就是他自己的博客,所以我这里不做更改,只是为学习和记录一种scrapy的方法。 1.创建project12345678910nick@ubuntu:~$ scrapy startproject csndblog2015-09-07 ... 阅读全文 »