0

0

实现一个简单的mysql带权重的中文全文搜索

php中文网

php中文网

发布时间:2016-06-13 09:29:56

|

1221人浏览过

|

来源于php中文网

原创

实现一个简单的mysql带权重的中文全文搜索自己在写一个web,希望对数据库做全文检索。但是google了解到,由于中文分词的缘故,mysql只支持英文的全文搜索,想支持中文的,需要各种插件or实现一些比较复杂的机制,而买的虚拟主机并不支持这些复杂的东西。仔细想了下,因为自己需求的功能也比较简单,主要是2个字段的搜索,且数据量不大,即便增加几个字段,需要多运行几个select也不会对速度有太大影响,所以通过一些work around实现了需求。

step 1:用locate进行简单的搜索
locate可以判断子串是否在子乱
有两个column,一个name,一个description.
所以可以用locate>0去判断是否关键字在其中出现了。
其实就是
select * from table where locate(key, 'name')>0 or locate(key, 'description);
这样,我们就简单实现了对某个key在两个域的搜索

step 2:搜索多个关键字
通常,搜索都是有多个关键字,所以我们需要对每个关键字,执行下step1的查询。(当然,也可以合成一个,这里偷懒每次只查询1个关键字)
然后,我们再将每次查询出的数组都合并,这样就得到了一个最终的集合。

php代码如下:

  1. function selectlocate($tarcols,$skey){
  2. $where ="";
  3. $connector = " ";
  4. global $count;
  5. foreach($tarcols as $tarcol ){
  6. $where .= $connector;
  7. $where .= "locate('$skey', $tarcol) != 0 ";
  8. if($connector == " "){
  9. $connector = " or ";
  10. }
  11. }

  12. $sql = "select * from pets_table where $where";
  13. $result = mysql_query($sql);
  14. $ret = array();
  15. while($item = mysql_fetch_array($result, mysql_assoc)){
  16. $count ++;
  17. $ret[] = $item;
  18. }
  19. return $ret;
  20. }
step 3:匹配的权重
上面step2的结果,其实是无序的。通常,如果我们搜索一个字段:
1.如果这个字段和关键字完全相同,那么一般来讲,可能这个结果应该是相关度最高的
2.如果他只是其其中出现了一次,相关度就最低。
3.如果他出现的次数比在其他row中出现的次数高,那么他的相关度就比2中的结果高
所以,搜索的时候依据这个顺序考虑权重,
a.如果完全相等,权重为1000
b.如果出现1次,权重为10,出现n次
c.权重为n*10
每次搜索出来的结果附加上权重----》然后合并相同项----》并把权重累加
最后按权重排序,即可得到一个有排序的搜索结果。

以下是两种1关键字对应1个字段(上面的代码是1关键字多个字段)查询的代码(不包含合并两个数组的代码,相关的代码在step4中),只需遍历每个关键字和字段,就能完成搜索

  1. $count = 0;
  2. function selectequal($col,$skey){
  3. $connector = " ";
  4. global $count;
  5. $sql = "select * from pets_table where lower($col)=lower('$skey')";
  6. $result = mysql_query($sql);
  7. $ret = array();
  8. while($item = mysql_fetch_array($result, mysql_assoc)){
  9. $count ++;
  10. $item["weight"] = 1000;
  11. $ret[] = $item;
  12. }
  13. return $ret;
  14. }
  15. function selectlocate($col,$skey){
  16. global $count;
  17. $sql = "select *,(length(description) - length(replace(description, '$skey', '')))/length('$skey') *10 as weight from pets_table where locate(lower('$skey'),lower($col))>0";
  18. $result = mysql_query($sql);
  19. $ret = array();
  20. while($item = mysql_fetch_array($result, mysql_assoc)){
  21. $count ++;
  22. $ret[] = $item;
  23. }
  24. return $ret;
  25. }



step 4: 字段的权重
在我的需求中,显然name这个字段比description更重要,所以在匹配时,对name字段的结果应该有所倾斜,所以,又可以增加一个对字段的权重系数。

1.如果是在name域的匹配,设系数为10;
2.如果是在description匹配,设系数为1;

将step 3每次计算得出的权重,再乘上这个系数,就可以得到一个新的,更有效的权重值。
最后按权重排序,即可得到一个最有相关度排序的搜索结果

其他的细节:
如果一个关键字已经满足了equal条件,那么再使用locate条件的时候会依然返回一个结果,所以在使用locate条件的时候,过滤掉equal的情况

  1. $count = 0;
  2. function selectequal($col,$val,$skey){
  3. $connector = " ";
  4. global $count;
  5. $sql = "select * from pets_table where lower($col)=lower('$skey')";
  6. $result = mysql_query($sql);
  7. $ret = array();
  8. while($item = mysql_fetch_array($result, mysql_assoc)){
  9. $count ++;
  10. $item["weight"] = 1000*$val;
  11. $ret[] = $item;
  12. }
  13. return $ret;
  14. }
  15. function selectlocate($col,$val,$skey){
  16. global $count;
  17. $sql = "select *,(length(description) - length(replace(description, '$skey', '')))/length('$skey') *10*$val as weight from pets_table where locate(lower('$skey'),lower($col))>0 and lower($col)!=lower('$skey')";
  18. $result = mysql_query($sql);
  19. $ret = array();
  20. while($item = mysql_fetch_array($result, mysql_assoc)){
  21. $count ++;
  22. $ret[] = $item;
  23. }
  24. return $ret;
  25. }
  26. function cleanarr($arr){
  27. global $count;
  28. $tmp = array();
  29. $tmpall = array();
  30. foreach($arr as $item){
  31. if(array_key_exists($item['uid'], $tmp)){
  32. $tmp[$item['uid']]+=$item["weight"];
  33. }
  34. else{
  35. $tmp[$item['uid']] = $item["weight"];
  36. $tmpall[$item['uid']] = $item;
  37. }
  38. }

  39. //sort by weight in descending order
  40. arsort($tmp);

  41. $ret = array();

  42. //rebuildthe return arary
  43. $count = 0;
  44. foreach($tmp as $k=>$v){
  45. $count++;
  46. $tmpall[$k]['weight']=$v;
  47. $ret[]=$tmpall[$k];
  48. }
  49. return $ret;
  50. }

  51. require_once("consvr.php");


  52. $colshash = array("name"=>10,"description"=>1);
  53. $ret = array();
  54. $keywords=explode(" ", $keywords);
  55. $cols = array_keys($colshash);
  56. foreach($keywords as $keyword){
  57. foreach($colshash as $col=>$val){
  58. $ret = array_merge($ret,selectequal($col,$val, $keyword));
  59. $ret = array_merge($ret,selectlocate($col,$val, $keyword));
  60. }

  61. }
  62. $ret = cleanarr($ret);
  63. $ret = array('msg' => "success", 'count'=>$count,'children' => $ret, 'query'=>"complex:not readable");
  64. echo json_encode($ret);
  65. mysql_close();

  66. ?>











相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
php源码安装教程大全
php源码安装教程大全

本专题整合了php源码安装教程,阅读专题下面的文章了解更多详细内容。

65

2025.12.31

php网站源码教程大全
php网站源码教程大全

本专题整合了php网站源码相关教程,阅读专题下面的文章了解更多详细内容。

43

2025.12.31

视频文件格式
视频文件格式

本专题整合了视频文件格式相关内容,阅读专题下面的文章了解更多详细内容。

35

2025.12.31

不受国内限制的浏览器大全
不受国内限制的浏览器大全

想找真正自由、无限制的上网体验?本合集精选2025年最开放、隐私强、访问无阻的浏览器App,涵盖Tor、Brave、Via、X浏览器、Mullvad等高自由度工具。支持自定义搜索引擎、广告拦截、隐身模式及全球网站无障碍访问,部分更具备防追踪、去谷歌化、双内核切换等高级功能。无论日常浏览、隐私保护还是突破地域限制,总有一款适合你!

41

2025.12.31

出现404解决方法大全
出现404解决方法大全

本专题整合了404错误解决方法大全,阅读专题下面的文章了解更多详细内容。

204

2025.12.31

html5怎么播放视频
html5怎么播放视频

想让网页流畅播放视频?本合集详解HTML5视频播放核心方法!涵盖<video>标签基础用法、多格式兼容(MP4/WebM/OGV)、自定义播放控件、响应式适配及常见浏览器兼容问题解决方案。无需插件,纯前端实现高清视频嵌入,助你快速打造现代化网页视频体验。

9

2025.12.31

关闭win10系统自动更新教程大全
关闭win10系统自动更新教程大全

本专题整合了关闭win10系统自动更新教程大全,阅读专题下面的文章了解更多详细内容。

8

2025.12.31

阻止电脑自动安装软件教程
阻止电脑自动安装软件教程

本专题整合了阻止电脑自动安装软件教程,阅读专题下面的文章了解更多详细教程。

3

2025.12.31

html5怎么使用
html5怎么使用

想快速上手HTML5开发?本合集为你整理最实用的HTML5使用指南!涵盖HTML5基础语法、主流框架(如Bootstrap、Vue、React)集成方法,以及无需安装、直接在线编辑运行的平台推荐(如CodePen、JSFiddle)。无论你是新手还是进阶开发者,都能轻松掌握HTML5网页制作、响应式布局与交互功能开发,零配置开启高效前端编程之旅!

2

2025.12.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 10.2万人学习

Java 教程
Java 教程

共578课时 | 40.2万人学习

Uniapp从零开始实现新闻资讯应用
Uniapp从零开始实现新闻资讯应用

共64课时 | 6.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号