robots.txt 를 알아보자 robots.txt 를 알아보자 안녕하세요 ~ 왕발이에요오옹 ~ @_@ 오늘 포스팅할 주제는 robots.txt 입니다.어디서 많이 들어보셨을텐데요. 맞습니다. 맞고요. 바로 그겁니다. 인터넷 상에 존재하는 웹봇들이 정보를 수집하여, 검색에 뜨게 끔 해주는 웹봇에 대한 자기 웹페이지 설정입니다. 즉, robots.txt 에서 어떻게 작성하느냐에 따라서 웹봇이 접근가능할지, 못할지가 결정됩니다. 지금부터 설정방법에 대해서 알아보도록 하겠습니다. 일단 "robots.txt" 파일을 생성해주세요. 파일을 열어서 텍스트 편집기에서 수정해주시면 됩니다. User-agent: *Allow: /Disallow: /Crawl-delay: 3600 위와 같은 메뉴 4개가 존재합니다.User-agent: 봇 명칭Allow.. IT. 2016. 5. 6. 05:52
