Tenshine's Blog


  • 首页

  • 分类

  • 归档

  • 标签

  • 关于

  • 搜索

sql速查表

发表于 2016-03-01 | 分类于 security
SQL注入速查表(cheat sheet).wiz-todo, .wiz-todo-img {width: 16px; height: 16px; cursor: default; padding: 0 10px 0 2px; vertical-align: -10%;-webkit-user-se ...
阅读全文 »

assembly-python

发表于 2016-01-01 | 分类于 python
学习pyc逆向过程的一个总结 python执行过程 Python先把代码(.py文件)编译成字节码,交给字节码虚拟机,然后虚拟机一条一条执行字节码指令,从而完成程序的执行。 字节码在Python虚拟机程序里对应的是PyCodeObject对象。.pyc文件是字节码在磁盘上的表现形式。 PyCodeO ...
阅读全文 »

markdown语法

发表于 2015-11-01 | 分类于 other
####标题设置(让字体变大,和word的标题意思一样)在Markdown当中设置标题,有两种方式:第一种:通过在文字下方添加“=”和“-”,他们分别表示一级标题和二级标题。第二种:在文字开头加上 “#”,通过“#”数量表示几级标题。(一共只有1~6级标题,1级标题字体最大) ####块注释(b ...
阅读全文 »

使用pip安装python包

发表于 2015-10-15 | 分类于 python
Pip 是安装python包的工具,提供了安装包,列出已经安装的包,升级包以及卸载包的功能。 ubutu下安装pip命令:sudo apt-get install python-pip 1 pip使用详解 pip安装包 12345678910安装包pip install SomePackage[. ...
阅读全文 »

Virtualenv-Virtualenvwrapper使

发表于 2015-09-30 | 分类于 python
本文目录: 虚拟环境简介 安装Virtualenv 创建虚拟环境 介绍增强版-Virtualenvwrapper 虚拟环境简介VirtualEnv用于在一台机器上创建多个独立的Python虚拟运行环境,多个Python环境相互独立,互不影响,它能够: 在没有权限的情况下安装新套件 不同应用可以使 ...
阅读全文 »

avoid-ban

发表于 2015-09-03 | 分类于 爬虫
根据scrapy官方文档:http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned里面的描述,要防止scrapy被ban,主要有以下几个策略: 动态设置user agent 禁用cookies 设置延 ...
阅读全文 »

pycharm调试scrapy

发表于 2015-08-25 | 分类于 爬虫
我是使用pycharm编写的程序,因为新手嘛,ide的很多功能都很方便,这里说下pycharm调试scrapy程序: 我们在运行爬虫时是调用scrapy程序,其第一个参数是crawl,在linux中使用下which scrapy我的输出是: 12tenshine@tenshine:~$ which ...
阅读全文 »

scrapy爬取cnblogs博客文章(保存mysql)

发表于 2015-07-24 | 分类于 爬虫
这篇文章接上篇scrapy爬取cnblogs博客文章(保存json)大部分和上篇文章没有区别,我直接说不同的地方,那就是处理数据的地方。 1.在item中新建一个字段linkmd5id=scrapy.Field()它的作用是用每篇文章的url作为唯一值,如果这个url在mysql数据库中没有存储,就 ...
阅读全文 »

scrapy爬取cnblogs博客文章(保存json)

发表于 2015-07-22 | 分类于 爬虫
本文为从某人cnblog的文章列表中爬取文章题目,url,摘要。 因为作者本人爬取的就是他自己的博客,所以我这里不做更改,只是为学习和记录另一种scrapy的方法。 1.创建project12345678910tenshine@tenshine:~$ scrapy startproject cnbl ...
阅读全文 »

scrapy爬取csdn博客文章

发表于 2015-07-20 | 分类于 爬虫
本文为爬取某人csdn博客中文章题目和url,因为作者本人爬取的就是他自己的博客,所以我这里不做更改,只是为学习和记录一种scrapy的方法。    1.创建project12345678910nick@ubuntu:~$ scrapy startproject csndblog2015-09-07 ...
阅读全文 »
12

tenshine

喜欢就买,不行就分,多喝热水,重启试试

16 日志
5 分类
12 标签
© 2017 tenshine
本站访客数:
|
博客全站共24.4k字