最新消息:20190717 VPS服务器:Vultr新加坡,WordPress主题:大前端D8,统一介绍入口:关于

【整理】绘本查询推荐系统 数据爬取 20181031

数据 crifan 71浏览 0评论
【学乐 https://www.scholastic.com/teachers/bookwizard/
要爬取的字段:
  • 来源:url
  • 图片
  • 系列名 + 系列编号:My Weirdest School #7
  • 书名
  • 作者
  • Grades
  • 不同等级分类
    • Guided Reading
    • Lexile Measure
    • Grade Level Equivalent
    • DRA Level
  • Genre
  • ISBN
  • Pages
  • 标签tags
  • 相关推荐
经过分析,入口是:
Book Wizard: Teachers, Find and Level Books for Your Classroom | Scholastic
“Showing 65,493 Results for All in Books”
-》
The BFG by Roald Dahl | Scholastic
另外的特殊的:
(1)带系列名 #N的
The Adventures of Captain Underpants by Dav Pilkey | Scholastic
Ms. Joni Is a Phony! by Dan Gutman | Scholastic
(2)只有系列名的:
Chimpanzees by Patricia A. Fink Martin | Scholastic
(3)注意 评级中,有些数据是 N/A 表示空的:
Chimpanzees by Patricia A. Fink Martin | Scholastic
(4)插图作者
-》有时候比作者更出名
-》有价值,要保存:
How Not to Start Third Grade by Ellen TitlebaumCathy Hapka | Scholastic
illustrator:插图作者
一个或多个
(5)西班牙语=西语
Book Wizard: Teachers, Find and Level Books for Your Classroom | Scholastic
  • 如何判断是西语还是英语,待内容团队确定
-》后续或许会用到:
判断文字的语言
shuyo/language-detection: This is a language detection library implemented in plain Java. (aliases: language identification, language guessing)
文本语言检测之language-detection – 简书
(6)有些图片是没有的
https://www.scholastic.com/teachers/books/ms-joni-is-a-phony-by-dan-gutman/
IMAGE NOT AVAILABLE

【兰斯 https://fab.lexile.com
Search Results – Find a Book | MetaMetrics Inc.
304304 results
All Ranges, All Categories
第二页:
https://fab.lexile.com/search/results?keyword=&page=2
-》每本书:
Harry Potter and the Sorcerer’s Stone – Lexile® Find a Book | MetaMetrics Inc.
Harry Potter And The Chamber Of Secrets – Lexile® Find a Book | MetaMetrics Inc.
Dinosaurs Before Dark – Lexile® Find a Book | MetaMetrics Inc.
No More Dead Dogs – Lexile® Find a Book | MetaMetrics Inc.
要爬取的字段:
  • url:url地址
  • title
  • pages: Int数值,默认0
    • 只有列表页有
  • isbn13
  • coverImgUrl:封面图片
  • description:summary
  • authors:字符串列表
    • 1或多个
  • language
  • copyright
  • ages:Age Range,9 to 13
    • 有些没有
  • lexileMeasure:Lexile Measure
  • vocabularyWords:Vocabulary Words,字符串列表
  • 额外属性
    • seriesName:
      • Series
      • 假定,正常只有1个
        • 如果有多个,再讨论
      • 可选
    • categories:字符串列表,1或多个,可选
    • awards:字符串列表,1或多个,可选
  • recommendations:推荐More like this
    • 每个:{title, url}
额外说明:
【整理】英文难度等级评测标准:Lexile兰斯
BR的含义:
根据筛选条件是:
BR400L – 1900L
-》推测是:
BR等价于:-
即:
-400L 到 +1900L
而其他几个:
AD,GN,HL,IG,NC
只是辅助性的描述
特殊情况:
(1)summary可能没有
Diary of a Wimpy Kid: The Third Wheel – Lexile® Find a Book | MetaMetrics Inc.
(2)额外属性是Categories,甚至多个的:
No More Dead Dogs – Lexile® Find a Book | MetaMetrics Inc.
多个的:
The Galaxy – Lexile® Find a Book | MetaMetrics Inc.
(3)部分列表页没有pages的信息的
https://fab.lexile.com/search/results
Additional Filters:Award winners
-》
The Galaxy – Lexile® Find a Book | MetaMetrics Inc.
(4)封面可能没有
The Outsiders 50th Anniversary Edition – Lexile® Find a Book | MetaMetrics Inc.

【AR http://www.arbookfind.co.uk/default.aspx
有两个入口:
Advanced Search -》 点击 Show Lexile® Measure
然后:
Lexile® Measure:0-1900
Interest Level:选其中1个,共选4次,即可列出所有的书
http://www.arbookfind.co.uk/advanced.aspx
http://www.arbookfind.com/advanced.aspx
Accelerated Reader Bookfinder AU – Advanced Search
每个页面:
要爬取的字段:
Accelerated Reader Bookfinder AU – Book Detail
Accelerated Reader Bookfinder UK – Book Detail
特殊:
(1)待后续数据合并时讨论如何处理:
比如:
http://www.arbookfind.com.au/bookdetail.aspx?q=330502&l=EN&slid=182082181&lm=1
的ISBN:
Publisher    ISBN    Year Published    Page Count
Scholastic, Inc.    978-0-545-65138-7    2013    24
Scholastic, Inc.    0-545-65138-7    2013    24
Scholastic, Inc.    978-0-545-65522-4    2013    24
Scholastic, Inc.    0-545-65522-6    2013    24
其中:后者的:
978-0-545-65522-4
0-545-65522-6
是搜不到的。
而前面的:
978-0-545-65138-7
或:
0-545-65138-7
是可以搜到的,比如:
Amazon.com: 9780545651387: Books
https://www.amazon.com/s/ref=nb_sb_noss?url=search-alias%3Dstripbooks&field-keywords=978-0-545-65138-7&rh=n%3A283155%2Ck%3A978-0-545-65138-7
978-0-545-65138-7 – AbeBooks
ISBN 9780545651387 – 10 Hooting Owls

转载请注明:在路上 » 【整理】绘本查询推荐系统 数据爬取 20181031

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
16 queries in 0.078 seconds, using 9.43MB memory