2.允许所有的robot访问的文件
User-agent: *
Disallow:
3.禁止所有搜索引擎访问网站的几个部分的robots文件
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
4.禁止某个搜索引擎的访问的robots文件
User-agent: BadBot
Disallow: /
5.只允许某个搜索引擎的访问的robots文件
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
6.禁止搜索引擎访问单个文件
Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的<head></head>中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots META标签的写法：
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
INDEX 指令告诉搜索机器人抓取该页面；
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
这样，一共有四种组合：
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
其中
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="ALL">；
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成<META NAME="ROBOTS" CONTENT="NONE">
目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：
<META NAME="googlebot" CONTENT="index,follow,noarchive">
URL: Uniform Resource Locators
URI:Uniform Resource Identicators
URI分两部分，scheme, scheme-specific，这两部分由冒号分割开。schema包括HTTP,FTP,NEWS,GOPHER等，详情参见RFC1738（ftp://ds.internic.net/rfc/rfc1738.txt）
HTTP,FTP的语法很相像，都是这样:
schema://user:password@host:port/directory/file.extension
URI中理论上只允许ASCII字符。
部分特殊符号必须编码，不能直接出现在URI中，如“~”
Web项目中，这些都是URI：
链接地址（a标签的href属性）
图片的源（img标签的src属性）
多媒体文件的源（object标签的src属性）
CSS，JavaScript地址（link标签的href 属性，script标签的src属性）
重要的入口
便于传播
便于用户挖掘内容
比如：
http://www.bigcompany.com/PR/announcements/1994/dec/new-server-version.txt
这个还算好的，看看这个：http://www.globeandmail.com/servlet/ArticleNews/PEstory/TGAM/20020909/RVCRR/Business/business/business_temp/2/2/5/
比如：
ftp://ftp.bigstate.edu/pub/docs/OnTBGHill.txt
ftp://ftp.bigstate.edu/pub/docs/moon_3+manual
一些字符在纸上打印出来不容易辨认，例如
“～”（数字键1旁边那个键）在不同的字体下面显示不同，有时候在一行的顶部，有时候在底部。
“l”（字母L的小写版本）和“1”（数字一）几乎无法分辨——在纸介质上的时候，同样的还有“O”和“0”。
“`”太微小，以致于人们在某些情况下看不到它。
除了 scheme-specific 部分，domain和port也可能给用户带来困惑。
http://admin.bigstate.edu:8001/docs/thesis/jones
URI是网站UI的一部分，因此，可用的网站应该满足这些URL要求
简单，好记的域名
简短（short）的URI
容易录入的URI
URI能反应站点的结构
URI是可以被用户猜测和hack的（也鼓励用户如此）
永久链接，Cool URI don't change
为了URI能被方便的录入，写下，拼写和记忆，URI要尽可能的短，根据w3c提供的参考数据，一个URI的长度最好不要超过80个字节（这并非一个技术限制，经验和统计提供的数据），包括schema和host,port等。
URI的大小写策略要适当，要么全部小写，要么首字母大写，应避免混乱的大小写组合，在Unix世界，文件路径队大小写是敏感的，而在Windows世界，则不对大小写敏感，所以，http://www.example.com/FOO和http://www.example.com/foo是两个不同的URI（尽管他们在Windows平台有相同的含义）
管理员可以重新组织服务器上的文件系统结构，而无需改动URI，这就需要URI和真实的服务器文件系统结构之间有一个映射机制，而不是生硬的对应。
这种映射机制可以通过如下技术手段实现：
Aliases，别名，Apache上的目录别名，IIS上的虚拟目录
Symbolic links，符号链接，Unix世界的符号链接
Table or database of mappings，数据库映射，URI和文件系统结构的对应关系存储在数据库中
管理员可以简单的通过修改HTTP状态代码来实现服务器文件系统结构变更之后的URI兼容，可以利用的HTTP Status Code有：
301 Moved Permanently ([RFC2616] section 10.3.2)
302 Found (undefined redirect scheme, [RFC2616] Section 10.3.3)
Temporary Redirect ([RFC2616] Section 10.3.8)
提供动态内容服务时，应使用技术无关的URI
即URI不暴露服务器端使用的脚本语言，平台引擎，而这些语言，平台，引擎的变化也不会导致URI的变更。因此，sevelet,cgi-bin之类的单词不应该出现在URI中。
提供静态内容服务时，应当隐去文件的扩展名
取而代之的技术是content-negotiation, proxy, 和URI mapping
使用标准的身份认证机制，而不是每个用户一个特定的URI
使用标准的Session机制，而不是把Session ID放在URI中
使用Tomcat和PHP3的站点容易犯这类错误，将Session ID放在URI中，实际上，他们应当用HTTP Header来实现之。
本文详细描述了URI的定义和作用，揭示了目前Web开发中普遍存在的问题，并给出了URI设计原则和规范，希望本文的读者能在开发和设计Web应用程序的时候体会和运用这些知识。
URI是Web UI的一部分，应当像对待网站Logo和公司品牌一样对待它
URI是网站和普通用户之间的唯一接口，应当像对待你的商务电话号码一样对待它
读懂并记住上面两句话，你下次设计URI的时候就会给它应有的重视了。
URL应当是用户友好的
URI应当是可读的
URI应当是可预测的、可删减的
URI应当是统一的
读懂和记住上面四句话，你就知道应该设计什么样的URI了。
]]>但有什么办法呢，改验证码图片方式？似乎作用不大，验证码对有些能识别的软件来讲形同虚设，没点用处。
群发软件针对使用某程序系统的网站，能够进行大批量的群发，无非是提交表单POST参数及地址基本上都一样，唯一不同的仅仅是域名。针对这种情况，可以适当修改下表单中字段项的name属性，或是页面表单提交到的名称，基本上就可以屏蔽某些群发软件。
但是如果群发软件具备自动获取表单中的字段项名称及提交地址的功能，怎么改没用，这个功能从技术上来讲，实现并不复杂。
知道了群发的一些基础知识，我们很容易想到解决方法。比如：如果表单中每次要提交的表单项都不同，群发软件就没办法处理了，其实不是没办法，只是相对复杂了些（先要抓取表单页，并进行表单项分析），他们不会仅仅为了你一个网站，而修改程序的。
我的解决方法是：表单的提交地址通过JS输出，增加一个随机参数名及其随机值，这个参数值及其名称在提交处理页进行验证，注意，JS所在的位置并不在表单内部，一般可加在表单验证的JS里面。经测试，该方法非常适用。
下面是针对动网论坛做点一些程序及其模板上的修改：
1、修改POST.asp页面：
先在代码的最下边加入2个随机函数：
Function getRnd( max , min )
Dim i
randomize
i = Int((max - min + 1) * Rnd + min)
getRnd = i
End Function
Function getRndChar( num )
Dim chars,ret,tmp,numIndex,i
chars = "ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890"
For i=0 To num
Randomize
numIndex = Int((36 - 1 + 1) * Rnd + 1)
tmp = Mid(CHARS , numIndex , 1 )
ret = ret & tmp
Next
getRndChar = ret
End Function
再在该文件的188行左右，插入下面的代码：
'替换随机的注册参数
session("regRndChars") = getRndChar( 6 )
session("reg_b") = getRnd(9999,1000)
session("reg_c") = getRnd(100 , 10 )
TempStr=Replace(TempStr,"{$rndparam}",session("regRndChars"))
TempStr=Replace(TempStr,"{$value1}",session("reg_b"))
TempStr=Replace(TempStr,"{$value2}",session("reg_c"))
2、修改savepost.asp文件：
在该文件47行插入：
Dim regNums
regNums = session("reg_b") * session("reg_c")
If Request(session("regRndChars")) = "" or Request(session("regRndChars"))<>CStr(regNums) Then
Response.write "发帖失败!"
Response.end
End If
3、修改dispbbs.asp 873行下面，加入：
'替换随机的参数
session("regRndChars") = getRndChar( 6 )
session("reg_b") = getRnd(9999,1000)
session("reg_c") = getRnd(100 , 10 )
sTemplate=Replace(sTemplate,"{rndparam}",session("regRndChars"))
sTemplate=Replace(sTemplate,"{value1}",session("reg_b"))
sTemplate=Replace(sTemplate,"{value2}",session("reg_c"))
4、修改模板文件：
分页面模板(page_post)：template.html(0)29行左右改成
function PostSubmit(frm,e){
//随机参数
var a = '{$rndparam}';
var b= {$value1},c={$value2};
frm.action += '&' + a + '=' + (b*c);
var Post=new DvSavePost(frm,e,'{$ispostnew}'=='1'?'full':'fastre',{$maxtitlelength},{$maxconlength});
gid('submit').disabled=true;
if ('function'==typeof checkPay){Post.isok=checkPay()}
gid('body').value=dvtextarea.save();
Post.chk_topic(gid('topic'));
Post.chk_flash();
Post.chk_content(gid('body'));
if (frm.topicmode&&frm.selecttmode){Post.chk_topicmode(frm.topicmode,frm.selecttmode);}
if(!(Post.send())){gid('submit').disabled=false;}
}
分页面模板(page_dispbbs) ：template.html(0) 210行左右，改成
function FastReplySubmit(frm,e){
gid('body').value=dvtextarea.save();
gid('submit').disabled=true;
//随机参数
var a = '{rndparam}';
var b= {value1},c={value2};
frm.action += '&' + a + '=' + (b*c);
var FastRE=new DvSavePost(frm,e,'fastre');
FastRE.chk_topic(gid('topic'));
FastRE.chk_content(gid('body'));
if(!FastRE.send()){
gid('submit').disabled=false;
}
}
最常见的就是用在WEB系统中，可以让程序开发人员及美工设计人员分工明确，这也是MVC开发模式不可少的。
再就是用在代码生成上，通过设置模板，可以大量减轻机械重复的手工操作，提供工作效率。
模板引擎的设计目的，无非是要让不懂程序的设计人员，不用关心程序逻辑是怎么实现，只用关心自己的界面呈现。但是设计人员必须要学习模板引擎使用方法，包括模板语法、模板变量、甚至有些变量或参数在设计模板时需要跟程序员协商好，该使用哪些变量、如何使用等等。
试想一下，如果模板引擎复杂到一定程度，无异于要设计人员学习一种新的程序语言，而模板页面必定会包含一些类似于ASP、PHP一样的脚本语言，仿佛又回到了代码与界面夹杂在一起的年代，不同的是，这些都是设计人员来做的。
所以，个人认为，模板引擎不能太复杂，但也必须具备一些程序语言的基本语法语句，比如：判断语句、循环语句等等。目前一般的CMS系统所谓的模板标签功能，其解析过程称不上什么模板引擎。一个好的模板引擎，应该具有通用性、灵活性、扩展性，当然在一个具体的应用中，设计适合自己的模板引擎，就是最好的模板引擎。
]]>
现在的情况是，如果我们已经知道了登陆后的Cookie，下次请求时将这些COOKIE直接附加到CookieContainer，是不是更方便呢？至少程序上少了获取Cookie的代码，界面上也不需要设置登陆表单的提交参数。
要知道登陆后Cookie的方法很多，用IE浏览器打开登陆页并登陆后，系统当前用户目录Cookies下都留下了记录，你也可以通过一些辅助工具来获取Cookie。
我们来看看代码上如何实现的：
//实例化CookieContainer对象
System.Net.CookieContainer cookieContainer = new System.Net.CookieContainer();
//设置附加的Cookie
cookieContainer.SetCookies( new Uri( "请求的网址URL") , "Cookie实例字符串，每个实例以逗号分隔");
//请求时，带上这个CookieContainer
......
// 将提交的字符串数据转换成字节数组
byte[] postData = encoding.GetBytes(postString);
// 设置提交的相关参数
HttpWebRequest request = WebRequest.Create( url ) as HttpWebRequest;
request.Referer = url;
request.CookieContainer = cookieContainer ;
request.Method = method.ToUpper();
......
那么什么样的网站会获得比较好的排名，或者说怎么去辨别google的网页质量好坏的标准呢？根据我的实际经验，这些是google 可能是提高你网页排名的一些关键要素：
1、成为一个新闻源
这绝对是一个非常重要的要素，因为一旦你成为这个行业或者说提供消息的来源泉，那么你的站将被google视为一个权威站点，而你的竞争对手和寻找信息来源的同行的站点就是宣传你的站的最佳渠道，他们将为你的站点的宣传起到关键作用，关于网页的内容，我希望大家还能注意一下几个方面：
⑴更新速度 经常更新你的站点，最长不能超过3周，能保持每周更新一次以上是最佳的。
⑵字节的限制 这点是在国外已经得到证实，他们认为一篇文章的字节不能小于200个字节，否则google有可能会认为你作弊，从而限制其排名。如果兑换成中文字数是50-100个左右。这点请大家注意。
⑶注意需要原创 这里的原创就是是一个模糊的定义，含义就是你的文章要有权威性和一定的创意，说通俗点叫人无我有，而不是简单的拷贝其他人的页面或者内容，很大程度上，google的算法已经能从来源确定其是否为原创 。
2、网站内容之间要有其联系
这个我曾经在网页信噪比的研究和再谈网页信噪比中也提到过，现在搜索引擎已经能自主的分辨出你的主题和网页的研究方向，那么你网站互相之间的联系就有可能成为google算法中将你列到相对应的关键字列表中，从而获得其良好排名，这就使得设计和策划者在网站开始之初尽量将网站做的专业，相互之间要有某种直接和非直接的联系。那么这样的设计有可能增加你主题的强度。
3、网页之间有良好的链接
这个相信不用我多说，大家都能知道，在google的搜索过程中分为深度搜索和泛度搜索，只有当你的网页之间有良好的链接，让搜索引擎更好的索引你的站点，记住，千万不要将google的机器人反复的指向你其中的一个页面，那样会造成机器人的搜索的迟缓，对你的排名没有任何的好处，而且这会使google在反复的索引中认为你是在制造一个“spam”工厂！
而我也提倡的是一种链式结构，就如同大家在许多门户站点都能看到的相关信息一样，相关新闻会出现在正文文本的下侧或者两侧，这样第一会对页面进行文本的加强，第二还能增加其索引程度。
4、缩短网页与首页的直接距离
这一点大家可以参考zac“优化网站结构”一文，里面对网站结构有详细的分析。我需要说明的是搜索引擎机器人在爬行的过程中，不会自动去找寻一个没有链接的页面，一个优质的网站，应该有良好的逻辑结构。
5、合理的利用网站中的文字来进行链接
我的深刻感受是，其浏览者在浏览你的站获得有效信息，做链接的时候只会是你站点中的新闻的某一部分和新闻的title部分，而且不会是你站的首页，是你内页中的一页。那么需要你在追求这些有效的的链接的同时，注意链接的文字的描述，这样你有可能获得十分重要的链接。
]]>自己的网站刚刚增加了很多页面，希望知道GOOGLE下次更新会索引多少页
刚刚和几个不错的网站做了连接，希望知道GOOGLE下次更新后PR会不会长
如果要把网站的HTML页面重新生成，应该避开GOOGLE更新的时候，因为那样可能因为过多的404而导致GOOGLE删除页面
……
如何知道GOOGLE在什么时候更新呢？
GOOGLE研究者们发现了一个很简单的办法，就是查看GOOGLE的几个镜像站点是否相同，因为在GOOGLE更新期间，他总是将www2.google.com或者www3.google.com作为更新测试站点，在这期间，后两个站点中索引的页面数量和主站点将会不同。比如当我们从
www.google.com/ www2.google.com/ www3.google.com
三个网站搜索同一个关键词，得到的结果的数量不相同，这就说明GOOGLE正在更新。
GOOGLE这种大规模的更新在国外被称为GOOGLE DANCE（狗狗跳舞），有一个专门协助我们检查他是否正在跳舞的网站
http://www.google-dance-tool.com
这个网站提供一个工具，通过这个工具，我们只需要输入一个关键词然后点击一个按钮，就可以看到GOOGLE三个镜像站点的搜索结果，很方便我们对比。
通过这个办法，我知道了上次GOOGLE更新是在一月底二月初，我和几个朋友目睹了他们各自网站被GOOGLE索引的页面的数目的变化。昨天晚上检查了一下，发现在三个镜像站点上搜索“统计”、“下载”这些关键词的结果不相同，说明GOOGLE又开始活跃了。
]]>搜索引擎优化-神经网络算法
神经网络算法是什么?
神经网络是新技术领域中的一个时尚词汇。很多人听过这个词，但很少人真正明白它是什么。本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语、类型及其应用。
“神经网络”这个词实际是来自于生物学，而我们所指的神经网络正确的名称应该是“人工神经网络（ANNs）”。在本文，我会同时使用这两个互换的术语。
一个真正的神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作。在这里有一个难题：我们对生物学上的神经网络知道的不多！因此，不同类型之间的神经网络体系结构有很大的不同，我们所知道的只是神经元基本的结构。
搜索引擎中的神经算法:
把搜索引擎的算法比譬人的大脑，大脑中有大约50到500种不同得神经元，由N多的因素构成一张神经网络系统，也就是搜索引擎的算法组成。风采依扬以为在搜索引擎神经网络系统中，由N多个关键字相关性的网站/页面组成一张搜索引擎神经算法，每一个神经元占神经网络系统中的比例不一样。当然最近一些搜索引擎加入了用户行为算法，而用户行为算法也会被纳入神经算法中的。
神经算法的原理：
基本神经元包含有synapses、soma、axon及dendrites。Synapses负责神经元之间的连接，它们不是直接物理上连接的，而是它们之间有一个很小的空隙允许电子讯号从一个神经元跳到另一个神经元。然后这些电子讯号会交给soma处理及以其内部电子讯号将处理结果传递给axon。而axon会将这些讯号分发给dendrites。最后，dendrites带着这些讯号再交给其它的synapses，再继续下一个循环。 不断的从各个神经元挖掘数据，组成各个分类及编码，由各个分类入编码构成搜索引擎神经算法的一些大体组成要素，最后将分析结果形成一个神经指纹，当用户搜索时将调用搜索引擎的神经指纹，由神经指坟显示出搜索结果。
以上内容是跟星箭沟通时自已的对搜索引擎神经算法的一些了解。呵呵而神经指纹我想可以是我独创哦。。。。。
在网上搜索了一下，解决方法大概为以下两点：
(1)在appendChild或者innerHTML操作处判断document.readyState=="complete", 若为否，则setTimeout若干秒之后重新作这个操作。但是，此属性只对ie，opeara有效，firefox的document没有readyState属性，永远是undefined。
(2)在script中使用defer属性。意在页面加载完毕后再执行脚本,这样可以避免找不到对象的问题。defer不会考虑外部文件是否全部下载完，只会判当前页面是否全部加载完成。并且，在有defer标签的代码块里不能写document.write方法。以下为要注意的问题：
1.使用了defer="true"属性的script标签应该放在<head></head>之间。如果放在Body之间可能会得不到预期的效果（我试过如果把script放body里，在页面加载的第一次不会起defer的作用，但之后的刷新defer却起作用）。
2.使用了defer="true"属性的script标签里面包含的脚本在运行的过程中，不能使用document.write()方法向页面输出内容。因为设置了defer="true"的脚本是页面加载之后才加载并渲染的.如果这时候使用document.write()方法,会把之前的页面内容都清掉（当然，如果有这个需要的情况除外）。
]]>先看看下面的例子：
{items:[
{
id:1,
author:\"Achely\",
url:\"http://www.zhangyongjun.com\",
content:\"Welcome to Achely blog\"
},
{
id:2,
author:\"Achely2\",
url:\"http://www.zhangyongjun.com\",
content:\"Welcome to Achely blog\"
}
]};
与之对应的XML格式：
<items>
<item>
<id>1</id>
<author>Achely</author>
<url>http://www.zhangyongjun.com</url>
<content>Welcome to Achely blog</content>
</item>
<item>
<id>2</id>
<author>Relkn</author>
<url>http://www.zhangyongjun.com</url>
<content>Welcome to Achely blog</content>
</item>
</items>
通过上面，我们不难看出：
1、对象:
{name:"achely",email:"achely@gmail.com",homepage:"http://www.zhangyongjun.com"}
{ 属性 : 值 , 属性 : 值 , 属性 : 值 }
2、数组是有顺序的值的集合。一个数组开始于"["，结束于"]"，值之间用","分隔。
[
{name:"achely",email:"achely@gmail.com",homepage:"http://www.zhangyongjun.com"}, {name:"achely",email:"achely@gmail.com",homepage:"http://www.zhangyongjun.com"},
{name:"achely",email:"achely@gmail.com",homepage:"http://www.zhangyongjun.com"}
]
3、值可以是字符串、数字、true、false、null，也可以是对象或数组。这些结构都能嵌套。
那么，在客户端的JS中如何访问JSON对象呢？
js中这样的定义：
var obj='{name:"achely",email:"achely@gmail.com",homepage:"http://www.zhangyongjun.com"} ';
属性访问：obj.name
数组访问：obj.array[i]
]]>