全挡风玻璃平视显示器上的外围突出特征增强
2019-11-22

全挡风玻璃平视显示器上的外围突出特征增强

本发明涉及全挡风玻璃平视显示器上的外围突出特征增强。一种基于呈现在视觉外围区域内的视觉信息选择性地将图形图像投影/投射在车辆的透明挡风玻璃平视显示器上的方法包括:监测与关键信息相应的视觉信息相对于挡风玻璃的位置,以及处理视觉信息的位置以产生描述如呈现在视觉外围区域的视觉信息的显示需求。处理所述位置包括:监测相对于挡风玻璃的估计操作者凝视位置,将估计操作者凝视位置与视觉信息的位置相比较,并且当估计操作者凝视位置远离视觉信息位置超过阈值距离时产生显示需求。该方法进一步包括基于显示需求产生将被投影的图形图像,和基于估计操作者凝视位置将图形图像投影到透明挡风玻璃平视显示器上。

图6显示了根据本发明层叠在基板上的不同类型的发光材料;

多种便利的应用也是可以预期的。例如,公开了有限像素化视场结构,使得从ー个方向观察HUD的观察者看见ー个图像,而从另一方向观察HUD的另ー个观察者或者看不到所述具体图像或者看到与第一观察者不同的图像。这样的系统允许乘客在挡风玻璃上看见与行驶不相关的图像,同时车辆操作者继续看到仅仅与车辆操作相关的图像。例如,乘客可以看到信息娱乐型图像,例如网络内容,来自数据储存装置的视频,或利用车载摄像机来使用显示器作为空镜子而不干扰驾驶员的视野。这种内容可绑定到其它系统中,使得乘客沿着投射的车辆路线从互联网上查看饭店菜单并在投射的路线中选择作为临时目的地的饭店,而不干扰车辆操作者。这样的系统可以另外地使得车辆操作者看见适当配准(记录)在挡风玻璃上的图像而乘客不看到相同的图像,所述图像是未配准的且可能使乘客感到厌烦。

方案I:一种基于存在于视觉外围区域中的视觉信息选择性地将图形图像投射到车辆的透明挡风玻璃平视显示器上的方法,该方法包括:监测与关键信息相应的视觉信息相对于挡风玻璃的位置;处理视觉信息的位置以产生描述存在于视觉外围区域中的视觉信息的显示需求,该处理包括监测相对于挡风玻璃的估计的操作者凝视位置、将估计的操作者凝视位置与视觉信息的位置相比较、并且当估计的操作者凝视位置远离视觉信息的位置超过阈值距离时产生显示需求;基于显示需求产生将要被投射的图形图像;以及,基于估计的操作者凝视位置将图形图像投射到透明挡风玻璃平视显示器上。 方案2:方案I的方法,其中监测相对于挡风玻璃的估计的操作者凝视位置包括:基于居中于行驶车道的视野的区域来确定估计的操作者凝视位置。

上述公开了可以通过EVS在HUD上信息的选择性投射来实现的多种不用的用途。图32-37显示了根据本发明的,可以投射在HUD上的关键信息的选择示例性显示。图32描述了示例性的包括对车辆操作者而言期望视觉可接受的特征的未增强的外部视图。视图200包括路面206,路面包括第一车道标记202和第二车道标记204;也在车道上的车辆208;行人210;限速标志214;和即将到来的路面中的弯道216。视图200中的所有对象和特征都是直接可见的,没有绘出经过EVS描述的图形显示。

方案8:方案I的方法,其中阈值距离是一系列递增的阈值距离中的最短阈值距离;其中将估计的操作者凝视位置与视觉信息的位置相比较包括将估计的操作者凝视位置和视觉信息的位置与所述一系列递增的阈值距离相比较;其中所述产生显示需求基于所述比较来增加强调。

N},表示从參考点向东和向北的位移。用ろ=0,Si=之士ミ+-i^2定义系列{(si;ei;

技术领域

k細=び々+びぐ^!,

多种便利的应用也是可以预期的。例如,公开了有限像素化视场结构,使得从ー个方向观察HUD的观察者看见ー个图像,而从另一方向观察HUD的另ー个观察者或者看不到所述具体图像或者看到与第一观察者不同的图像。这样的系统允许乘客在挡风玻璃上看见与行驶不相关的图像,同时车辆操作者继续看到仅仅与车辆操作相关的图像。例如,乘客可以看到信息娱乐型图像,例如网络内容,来自数据储存装置的视频,或利用车载摄像机来使用显示器作为空镜子而不干扰驾驶员的视野。这种内容可绑定到其它系统中,使得乘客沿着投射的车辆路线从互联网上查看饭店菜单并在投射的路线中选择作为临时目的地的饭店,而不干扰车辆操作者。这样的系统可以另外地使得车辆操作者看见适当配准(记录)在挡风玻璃上的图像而乘客不看到相同的图像,所述图像是未配准的且可能使乘客感到厌烦。

当摄像机数据可用吋,下列測量公式可以被Kalman滤波器使用:

公开了ー种用于产生道路上车辆行驶车道的几何參数估计的示例性方法。所述方法包括:监测来自全球定位装置的数据;基于起点和目的地监测表述投射的行驶路线的地图航路点数据;监测来自视觉子系统的摄像机数据;监测车辆的运动学数据,所述数据包括车速和车辆偏航率;基于地图航路点数据和地图数据库确定车辆区域内的车道几何參数;基于车道几何參数、来自全球定位装置的数据、和摄像机数据来确定相对于车道几何參数的车辆位置;基于车辆位置、摄像机数据、和车辆运动学数据确定车辆位置处的道路曲率;基于道路曲率、摄像机数据和车辆运动学来确定车辆方位和从行驶车道中心的车辆横向偏移;以及,在车辆的控制方案中利用所述车辆位置、道路曲率、车辆方位和车辆横向偏移。

图33显示了由浓雾阻碍的示例性视图和可用于补偿雾的影响的示例性增强视觉显示。视图220显示与图32中相同的视图,除了由于雾而导致的视图模糊外。视图220包括雾221;第一车道标记202和第二车道标记204,两者对于短距离而言都是直接能看见的直到因为雾221而变得模糊;投射的车道指示符222和224;车辆指示符228;行人指示符230;车速显示234;和警告指示符237。投射的车道指示符222和224是不可见的车道指示的投射并帮助操作者在即使存在雾221的情况下也能保持车道。投射的车道指示符222和224包括曲线部分236以指示与图32中的弯道216对应的即将到来的道路中的弯道。应当明白,车道指示符222和224显示为清楚的线条。在多个传感器可以用来提取位置数据井利用例如3D地图或来自区别特征(例如路边或防护栏)的雷达回波时,清楚的线条可以用来以一定确定性传递即将到来的车道几何參数的位置。然而,在较少的信息源可以利用的情况下,车辆位置不被精确地设定,或由于某些其它原因车道几何參数是不确定的,在传送应当考虑的额外注意事项以视觉地确定真实的路面几何參数的同时,线条的范围或带条可以用来帮助引导操作者。车辆指示符228向操作者显示车辆208的位置和整体行为。此夕卜,包括距离和相对运动估计之类的因素的文字信息可以被显示以辅助操作者正确地补偿车辆的出现。行人指示符230给出操作者提示,S卩,行人已经被检测到以及相对于道路的整体位置。根据上述的方法,不同的图形或文本可以被用来描述行人的不同行为和特性。在图32中所示,标志214由于雾221而在图33中是不可见的。然而,延伸路面的限速可通过其它手段来得知,例如借助于根据3D地图的GPS装置。车速指示符234提供了当前行驶的道路上的当前车速和速度限制的列表。如上所述,弯道216在图32中描述,在投射的车道指示符222和224中的弯曲部分给出了即将到来的弯道位置。此外,文本显示可以描述弯道的接近,包括到图33中所示的所述弯道的距离。此外,建议的变速和一些其它的弯道剧烈性的指示可以以文本237或与弯曲部分236的图形结合来指示。

其中,(egps,Iigps)是车辆的GPS測量位置丸和k2是测量噪音。在使用GPS测量更新车辆姿态后,使用公式5计算修正弧长參数(s)。该步骤对于通过消除公式6中由航位推算(deadreckoning)处理所导致的积累误差而获取正确的K和ξ值是重要的。

全挡风玻璃平视显示器上的外围突出特征增强

本发明涉及全挡风玻璃平视显示器上的外围突出特征增强。一种基于呈现在视觉外围区域内的视觉信息选择性地将图形图像投影/投射在车辆的透明挡风玻璃平视显示器上的方法包括:监测与关键信息相应的视觉信息相对于挡风玻璃的位置,以及处理视觉信息的位置以产生描述如呈现在视觉外围区域的视觉信息的显示需求。处理所述位置包括:监测相对于挡风玻璃的估计操作者凝视位置,将估计操作者凝视位置与视觉信息的位置相比较,并且当估计操作者凝视位置远离视觉信息位置超过阈值距离时产生显示需求。该方法进一步包括基于显示需求产生将被投影的图形图像,和基于估计操作者凝视位置将图形图像投影到透明挡风玻璃平视显示器上。

图29显示了示例性的状态,其中,相应的数据点可能不正确地指示对操作者而言关键的彳目息;

图13显示了根据本发明的用在创建轨迹列表中的信息流。在图13中,参考的轨迹优选在上述图14的传感器融合块728中计算和确定。传感器配准的处理包括确定传感器714和716的相对位置,以及由XY坐标系识别的车辆的范围与它们的坐标系之间的关系。现在描述单个对象传感器716的配准。所有的对象传感器优选做类似处理。对于对象映射补偿,优选使用传感器坐标系或范围,即UV坐标系和车辆坐标范围,即XY坐标系。传感器坐标系(u,v)被优选如此定义:(I)原点在传感器中心,(2)v-轴沿着纵向方向(视轴);以及(3)u_轴垂直于V-轴并指向右边。车辆坐标系,如前述被表示为(X,y),其中X轴表示车辆纵轴线,y轴表示车辆横轴线。

此外,已知多种方法通过传感器输入来获得车道保持或将车辆置于车道内。例如,ー种方法可以分析包括道路表面上的油漆线的视觉信息,并利用这些标记将车辆置于车道内。ー些方法使用其它车辆的轨迹来合成或辅助建立与车辆相关的车道几何參数。GPS装置,与3D地图数据库一起使用,使得能够根据全球GPS坐标来估计车辆的位置并用已知的道路几何參数覆盖该位置。

上述实施例只是HUD系统管理器可以作出的与关键信息相关的多个前后相关的示例性确定。公知的方法允许将GPS数据与来自3D地图数据库的信息结合使用,以识别对于确定目的地的建议路线。将这些方法与HUD的使用一体化允许在HUD上依次(turn-by-turn)方向的投射,包括能够将方向配准(记录)在通过挡风玻璃可见的实际路面特征上的重要优点。利用前后关联模型,将车辆相对于可视特征定位,允许方向针对车辆的操作和周围状态而被用户化(定制)。与语言的和/或LCD地图显示器相比,这种在可视路面特征上的配准使得对于驾驶员的指示更加精确。

公开了ー种替代的方法,所述方法用来基于历史数据或正态分布通过融合来自GPS数据、视觉摄像机子系统和车辆运动学的当前測量,不会出现误差地产生车道几何參数和车辆相对车道的位置和定位的估计。

图20显示了根据本发明使用传感器来获取车辆前方道路几何数据的示例性车辆;

上述实施方式描述了在车辆的挡风玻璃上投射图像。然而,这里描述的方法可以应用到车辆内任何合适的表面。例如,投射系统可以単独地用在车辆的后窗户上。在另ー实例中,投射系统可以用在车辆侧窗任何ー排中,例如,在车辆的第二排中。这样ー种系统,与可选择或可添加的程序一起,可以用于在旅途中娱乐儿童,玩游戏例如让儿童寻找各种地标或车辆外部物体上的文字。对于乘客的信息可以显示在这样的表面上,例如,到达目的地的时间,描述旅途进度的数字地图,娱乐图像,或互联网内容。使用替代性挡风玻璃结构,例如,圆形,半圆形,拱顶形,或其它封装天篷设计的车辆可以类似地使用挡风玻璃作为表面,图形图像可以显示在所述表面上。

其中,V是车辆速度;ω是车辆偏航率;ΔΤ是从先如循环的时间增量;ξ是道路的当前方位(C.f.,⑵);k是基于地图曲线的道路的当前曲率;W1,W2和W3是表示非模型干扰的过程噪音项。

用于部分或定向透明屏幕的玻璃可以包括对可见光而言是透明或半透明的无机固体。这种无机固体的例子是氧化物和卤化物。所述玻璃可以包括硅酸盐,硼硅酸盐,铅晶体,氧化铝,硅石,熔凝硅石,石英,玻璃陶瓷,金属氟化物,以及其它类似材料。这些类型的玻璃可以用作房间、建筑物、和/或运动车辆中的窗户。用于部分或定向透明屏幕的塑料可以包括对可见光而言是透明或半透明的有机和聚合固体。用于荧光屏的热塑性塑料可包括特殊的热固性固体,例如透明的凝胶体。所述塑料的一些例子包括聚丙烯酸、聚碳酸酯、聚乙烯、聚丙烯、聚苯乙烯、PVC、硅酮和其它类似材料。微结构可以一体形成在屏幕板中或表面上,以从一角度偏转被投射的图像,同时允许在法线视角位置实质上可见的透明度。不透明的漫射网格可以被嵌在薄玻璃或塑料片中。来自站在屏幕前的观察者的光散射网格的面积实质上小于来自图像投射器的光散射网格的面积。

びmap+^fits

b=Φ+k4

另外ー个应用关键信息阈值的例子可以包括行人出现和行人动作的分析。例如,行人在人行道上平行于车辆运动方向的正常的运动可以被确定为非关键信息。然而,行人在另ー个方向上的运动,例如,垂直于车辆交通的方向,可以被用作阈值来识别关键信息。在该实例内,可以说明另ー个指示关键信息的増加的重要性的例子。如果行人在指定的人行道上垂直于车辆交通行走,则指示较小或适中重要性的图形可以被显示。如果检测到行人从人行道走到行驶车道或在行驶车道内行走,则表示严重或増加的重要性的图形被显示。在另ー识别关于行人交通的关键信息的例子中,当前交通信号灯模式可以被分析并被用来识别关键信息。如果主车处于停车灯处,对应于视觉图像的指示“行走”灯的行人交通可以被确定为非关键信息。然而,在相同的情况中,对应于“不得行走”灯指示的行人交通可以被确定为关键信息。在替代方案中,对于目标的视觉信息和距离信息可以被用于投射目标的估计尺寸。这种估计尺寸可以被用来识别,例如,所有行人中估计为小于4英尺高的是关键信息,从而警告驾驶员运行环境中有儿童。在替代方案中,学校区域或耳聋儿童区域可以通过GPS数据和3D地图的街道标志识别应用、局部无线频率传输或标记(tagging)等来识别,在这样的区域中所有的行人都被标记为关键信息。在行人交通被检测但确定为不可视的情况下,使用热或红外成像数据的图形可以被选择来覆盖关于行人的视场,从而使车辆操作者能根据情况作出更好的決定。